自然言語を用いて、機能や構造を記述した通りのタンパク質のアミノ酸配列を予測してくれる生成AIの開発競争は熾烈だ。これまで紹介した中では、Evolutionary Scale が昨年発表していたESMシリーズが普及しているようだが、実際にはもっと多くのモデルが提案されているようで、なるべくAIをフォローしようと思ってもカバーするのは難しくなってきている。結局、トップジャーナルに発表された氷山の一角から全体を推定するのが関の山だ。

今日紹介するのは中国浙江大学から10月21日 Nature にオンライン発表された論文で、自然言語でデザインしたいタンパク質の機能をインプットすると、その機能を保ったタンパク質のアミノ酸配列を生成するモデルの開発で、これまでの研究にはなかったいくつかのおもしろいアイデアが試されているので紹介することにした。タイトルは「Programmable design of functional proteins from natural language（機能的なタンパク質を自然言語からデザインする）」だ。

これまでタンパク質デザインの場合、標的基質や、コアになるアミノ酸の配位などの原子配置を抽出して、それに合わせたペプチド構造を設計する例えば Baker さんたちの RFdiffusion や、アミノ酸配列、構造、そして自然言語による機能キーワードを学習させた ESM3 等が使われており、特に ESM は自然言語のキーワードでタンパク質のデザインが可能になっている。これに対して、浙江大学のグループはまず自然言語の自然な記述文章からタンパク質のデザインを可能にするモデルを目指している。
まず　Swiss protタンパク質データベースを使って、自然言語と構造、及び自然言語とアミノ酸配列をencoder/decoder として学習させてたモデルでの予測性能から、アミノ酸は大きく異なっていても構造は保存されているケースが多く、自然言語による記述はまず構造に decode することが必須である事を確認し、これに基づいて自然言語記述をどう使うか設計している。

Pinal と名付けたモデルは、これまで開発された様々なモデルをうまく組み合わせたのが特徴で、まず自然言語をT5と呼ばれる生命科学テキストの encoder を使いベクトル化、タンパク質の構造をタンパク質内のアミノ酸同士の関係に落とし込んだ Foldseek と呼ばれる方法と組み合わせて、言語記述を Foldseekトークンとして生成している。これにより、複雑な構造も通常の LLM で扱える。そしてここがこのグループのアイデアだが、同じテキストを普通のBERT を使ってトークン化して、これを先の構造トークンと合わせてエンベッディングし、このタンパク質構造に対するアミノ酸配列が生成できるようにしている。
構造と配列を一体として学習する点では ESM と同じだが、自然言語を異なるエンコーダーで処理して、構造トークンにリンクさせる点が特徴だと言える。

最初５０万のテキストとタンパク質の配列、構造が揃っている Swiss Prot を用いて学習させているが、LLM としては小さすぎるので、現在知られている1億3500万個のタンパク質について学習させて LLM としての予測性能を上げるための大規模な取り組みを次に行っている。さらに多くのタンパク質についてのデータと言っても、ほとんどのタンパク質では構造や記述情報がないので、これを自動生成する方法を開発している。具体的には Swiss aprot テキストをベースに GPT4 で新しい表現方法のライブラリーを作成、そのライブラリーの表現を TrEMBL を用いて配列しかわかっていないタンパク質に当てはめ、他にも Evolla、InterPro と言ったテキスト情報をタンパク質ライブラリーに加えて、最終的に1億3500万のタンパク質について、なんと17億の言語表現とのペアを作成している。また、アミノ酸配列は、AlphaFold 等で構造化して、これを Foldseek でトークン化して使っている。基本的にはこの作業は自動化されているが、多分大変な作業だと思う。こうして出来た17億のペアを学習させたのが、ESM 等と比べたときにより自然言語の説明を主役にしたタンパク質のデザイン生成AI、Pinal が誕生している。

後は Pinal をどう使うかについて、例えばグルコースをリン酸化する活性を持つ酵素をデザインしたいとインプットすると、進化的系統関係をきちっと示する数多くのアミノ酸配列が生成されることを確認し、また既に知られている酵素と相同性の低いタンパク質を大腸菌で合成させて、実際の酵素活性が観察できることも確認している。

最後に Evolutionary Scale の ESM 論文との比較で蛍光タンパク質の設計を比較し、キーワードに一致するタンパク質を設計する確率では Pinal が優れていると結論している。実際の使い方の詳細は省くが、プラスチックの分解酵素がほしいとインプットしたときの経過を紹介しておく。このインプットに対し、なんと20万もの候補配列が生成される。即ち最初から正確な構造予測を狙うのではなく、同じベクトル空間にある多くの配列が生成されるようにしている。従って、この中から折りたたみ可能性やプロンプトで指示した機能との相関性など様々なフィルターをかけて、まず2416種類、そして遺伝子合成可能で酵素活性のはかれる96種類と順番に絞っている。たくさん拾ってしまうので、おそらく絞り込む過程が大変だと思う。
とは言え、最終的には自然言語による機能記述に合致した、これまでの酵素とは異なる配列を有する酵素を作成することが出来ている。

以上が結果で、これまで発表されたタンパク質デザインや、自然言語処理に関わる様々なAIに精通した上で、自分のアイデアを加えてこれらのモデルを統合して、自然言語記述でタンパク質をデザインするという意味では最高レベルのモデルを構築した研究という印象を持った。しかし、プロンプトに対して何万もの配列が生成されるため、その後でのフィルター作業が大変で、最初からより詳しい条件がインプットできるようになるかが将来を決めるように思う。
例えば同時期に David Baker さんらは亜鉛が酵素活性に必要で設計が難しいメタロプロテアーゼのデザイン論文を発表していたが、この時RFdiffucionに提示した構造、１) 亜鉛とヒスチジン、グルタミンの配位、２) 亜鉛に配意した水分子を活性化するグルタミン、３) チロシンにより形成される４面体、そして４) 切断する基質構造の配置、等を自然言語記述で与えて Pinal が本当にメタロプロテアーゼを設計できるかなどは重要なテストになるだろう。
この研究はおそらくスマートな研究者が大変な作業量をものともせず進めたように感じるが、今後は正に同じような作業を Agent AI がやってしまうのだろうとも感じた。問題はあると思うがおもしろい論文だ。