自然言語を用いて、機能や構造を記述した通りのタンパク質のアミノ酸配列を予測してくれる生成AIの開発競争は熾烈だ。これまで紹介した中では、Evolutionary Scaleが昨年発表していたESMシリーズが普及しているようだが、実際にはもっと多くのモデルが提案されているようで、なるべくAIをフォローしようと思ってもカバーするのは難しくなってきている。結局、トップジャーナルに発表された氷山の一角から全体を推定するのが関の山だ。

今日紹介するのは中国浙江大学から１０月２１日Natureにオンライン発表された論文で、自然言語でデザインしたいタンパク質の機能をインプットすると、その機能を保ったタンパク質のアミノ酸配列を生成するモデルの開発で、これまでの研究にはなかったいくつかのおもしろいアイデアが試されているので紹介することにした。タイトルは「Programmable design of functional proteins from natural language（機能的なタンパク質を自然言語からデザインする）」だ。

これまでタンパク質デザインの場合、標的基質や、コアになるアミノ酸の配位などの原子配置を抽出して、それに合わせたペプチド構造を設計する例えばBakerさんたちのRFdiffusionや、アミノ酸配列、構造、そして自然言語による機能キーワードを学習させたESM3等が使われており、特にESMは自然言語のキーワードでタンパク質のデザインが可能になっている。これに対して、浙江大学のグループはまず自然言語の自然な記述文章からタンパク質のデザインを可能にするモデルを目指している。
まず　Swiss protタンパク質データベースを使って、自然言語と構造、及び自然言語とアミノ酸配列をencoder/decoderとして学習させてたモデルでの予測性能から、アミノ酸は大きく異なっていても構造は保存されているケースが多く、自然言語による記述はまず構造にdecodeすることが必須である事を確認し、これに基づいて自然言語記述をどう使うか設計している。

Pinalと名付けたモデルは、これまで開発された様々なモデルをうまく組み合わせたのが特徴で、まず自然言語をT5と呼ばれる生命科学テキストのencoderを使いベクトル化、タンパク質の構造をタンパク質内のアミノ酸同士の関係に落とし込んだFoldseekと呼ばれる方法と組み合わせて、言語記述をFoldseekトークンとして生成している。これにより、複雑な構造も通常のLLMで扱える。そしてここがこのグループのアイデアだが、同じテキストを普通のBERTを使ってトークン化して、これを先の構造トークンと合わせてエンベッディングし、このタンパク質構造に対するアミノ酸配列が生成できるようにしている。
構造と配列を一体として学習する点ではESMと同じだが、自然言語を異なるエンコーダーで処理して、構造トークンにリンクさせる点が特徴だと言える。

最初５０万のテキストとタンパク質の配列、構造が揃っているSwiss Protを用いて学習させているが、LLMとしては小さすぎるので、現在知られている１億３５００万個のタンパク質について学習させてLLMとしての予測性能を上げるための大規模な取り組みを次に行っている。さらに多くのタンパク質についてのデータと言っても、ほとんどのタンパク質では構造や記述情報がないので、これを自動生成する方法を開発している。具体的にはSwiss aprotテキストをベースにGPT4で新しい表現方法のライブラリーを作成、そのライブラリーの表現をTrEMBLを用いて配列しかわかっていないタンパク質に当てはめ、他にもEvolla, InterProと言ったテキスト情報をタンパク質ライブラリーに加えて、最終的に１億３５００万のタンパク質について、なんと１７億の言語表現とのペアを作成している。また、アミノ酸配列は、AlphaFold等で構造化して、これをFoldseekでトークン化して使っている。基本的にはこの作業は自動化されているが、多分大変な作業だと思う。こうして出来た１７億のペアを学習させたのが、ESM等と比べたときにより自然言語の説明を主役にしたタンパク質のデザイン生成AI、Pinal が誕生している。

後はPinalをどう使うかについて、例えばグルコースをリン酸化する活性を持つ酵素をデザインしたいとインプットすると、進化的系統関係をきちっと示する数多くのアミノ酸配列が生成されることを確認し、また既に知られている酵素と相同性の低いタンパク質を大腸菌で合成させて、実際の酵素活性が観察できることも確認している。

最後にEvolutionary ScaleのESM論文との比較で蛍光タンパク質のせっけいを比較し、キーワードに一致するタンパク質を設計する確率ではPinalが優れていると結論している。実際の使い方の詳細は省くが、プラスチックの分解酵素がほしいとインプットしたときの経過を紹介しておく。このインプットに対し、なんと２０万もの候補配列が生成される。即ち最初から正確な構造予測を狙うのではなく、同じベクトル空間にある多くの配列が生成されるようにしている。従って、この中から折りたたみ可能性やプロンプトで指示した機能との相関性など様々なフィルターをかけて、まず２４１６種類、そして遺伝子合成可能で酵素活性のはかれる９６種類と順番に絞っている。たくさん拾ってしまうので、おそらく絞り込む過程が大変だと思う。
とは言え、最終的には自然言語による機能記述に合致した、これまでの酵素とは異なる配列を有する酵素を作成することが出来ている。

以上が結果で、これまで発表されたタンパク質デザインや、自然言語処理に関わる様々なAIに精通した上で、自分のアイデアを加えてこれらのモデルを統合して、自然言語記述でタンパク質をデザインするという意味では最高レベルのモデルを構築した研究という印象を持った。しかし、プロンプトに対して何万もの配列が生成されるため、その後でのフィルター作業が大変で、最初からより詳しい条件がインプットできるようになるかが将来を決めるように思う。
例えば同時期にDavid Bakerさんらは亜鉛が酵素活性に必要で設計が難しいメタロプロテアーゼのデザイン論文を発表していたが、この時RFdiffucionに提示した構造、１，亜鉛とヒスチジン、グルタミンの配位、２，亜鉛に配意した水分子を活性化するグルタミン、３，チロシンにより形成される４面体、そして４，切断する基質構造の配置、等を自然言語記述で与えてPinalが本当にメタロプロテアーゼを設計できるかなどは重要なテストになるだろう。
この研究はおそらくスマートな研究者が大変な作業量をものともせず進めたように感じるが、今後は正に同じような作業をAgent AIがやってしまうのだろうとも感じた。問題はあると思うがおもしろい論文だ。