自分のガンのRNAデータを見ていると、例えば分子Aは分子Bと結合するだろうかなどと疑問が出る。この分子間相互作用については膨大な研究があり、例えば K-ras がどの分子と結合するのかなどは文献を探すことでかなりわかるのだが、AとBをインプットして結合するかどうか判断してくれる AI があればさらに便利だ。

今日紹介する MIT からの論文は、まさにこのようなリクエストに正確に答えることができる AI モデルについての研究で、7月21日 Cell にオンライン掲載された。タイトルは「Expanding the scope of protein language modeling to protein-protein interactions with MSA Pairformer（タンパク質の言語モデリングをタンパク質同士の相互作用に拡大する MSA Pairformer ）だ。

例によって数理部分をほとんど理解せず紹介していることを断っておく。

さて、ほとんどのタンパク質についての LLM は、個別のタンパク質を学習して、それらが分布する進化コンテクストの潜在空間を作っており、異なるタンパク質の相互作用に関するデータは存在しない。そのため構造を予測してから相互作用するか計算することになる。例えば KRAS と RAF1 が結合するかどうかを調べようと思うと、頭に浮かぶのは AlphaFold-multimer や AlphaFold3 を用いて構造を予測して相互作用の可能性を計算する方法だ。元になる AlphaFold は、構造を決定するとき、可能な限り多くの異なる種のアミノ酸配列を比較する Multiple sequence alignment (MSA) を作成し、またアミノ酸残基間の位置関係を記録する Pair representation を作成する。これから Transformer/attention で特徴抽出を行い、構造もデジュールで構造をアウトプットしている。従って、K-ras と Raf の構造を予測した後、結合面があるかを計算することになる。

この研究では、MSA と pair representation は一つのタンパク質の異なるアミノ酸残基の共進化と位置関係を表現しているので、わざわざ計算の大変な構造予測まで進まず、MSA と pair representation だけで、アミノ酸同士の結合を予測できるのではと考えた。さらに、可能な限り多くのアミノ酸配列の MSA ではなく、例えばヒトの K-ras に近いアミノ酸配列を重み付けして MSA や pair representation を形成することで、予測精度を挙げられると考えた。

そしてまず普通の LLM と同じように多くのタンパク質を学習させたあと、相互作用するか比べたいタンパク質AとBを、あたかも一本のタンパク質に統合して調べる、Paired MSA 方法を考案した。もしA、Bが相互作用している場合は、MSA を作成することで、セットで共進化するアミノ酸残基の組み合わせが見つかると予想され、見つかった場合はその残基同士が相互作用時の結合部位になっていると考えられる。もちろん全く共進化がないとすると、相互作用のないタンパク質ということになる。

この時、通常の Transformer と異なり、著者らが Query Biased Outer Product と呼ぶ方法を考案し、例えば調べたい human K-ras と Raf に近い配列で paired MSA を作成し、アミノ酸残基の関係が抽出された pair representationから相互作用するかどうか、どこで結合するのか、結合の強さはどうか等を計算することができるようにしている。

重要なのは、実際の構造予測をスキップしているおかげで、小さなワークステーションで済む点で、著者らは MSA pairformer では一つの H100 GPU で10日あればトレーニング可能で、大規模な ESM2 モデルのように512題の H100 GPU を使う必要がないことを強調している。

後は、既に知られている例えばバクテリアのトキシンとアンチトキシンや ABC トランスポーターなどいくつかのタンパク質について、分子間相互作用を数値化できるか、変異が起こったときの相互作用の変化を予測できるか、等を他のモデルと比較し、MSA pairfomer が高いパーフォーマンスを示すことを明らかにしているが、詳細は全て割愛する。

以上、数理については全く理解せずに紹介していることを繰り返すが、これまで一本のアミノ酸に限定されていた MSA や pair representation を、異なるタンパク質を一本に統合する Paired MSA を考案して、タンパク質同士の相互作用を正確に予測できるようにしたことは、私のような素人にもコロンブスの卵のような素晴らしいアイデアに思える。しかも、一般的な MSA のように可能な限り多くのアミノ酸のアラインメントをとるのではなく、知りたい (Query) 分子に近い (biased) タンパク質を重み付けしてアラインメントをとることで情報の質を高め、3次元構造生成をスキップして、計算コストを大幅に下げたということは、何でもかんでも大きなモデルを作ってそのパーフォーマンスを誇るのではない、新しい方向性を示しているように感じた。

おそらく私の説明では不十分だと思うので、是非自分で論文を読まれることを勧める。