Single cell レベルの遺伝子発現データを読み込ませた生成AIについてはこれまでも紹介してきた。事実、single cell データの蓄積は驚くべきもので、しかもゲノムの言語モデルも進展を続けている。

今日紹介する Zuckerberg Initiative からの論文はタンパク質の進化コンテクストを学習した ESM2 をベースに single cell レベルの遺伝子発現データを統合することで、種にかかわらず、発現しているタンパク質のセットをベースに細胞という単位を潜在空間にベクトル化するモデルの開発研究で、7月2日 Science に掲載された。タイトルは「TranscriptFormer: A generative cell atlas across 1.5 billion years of evolution（TranscriptFormer: 15億年の進化で生まれた細胞の生成アトラス）」だ。

メタの研究所 Evolutionary Scale で開発された ESM2 については紹介してきたが、多くの種のタンパク質配列データを学習したモデルで、様々な情報と統合が可能になっている。例えば、我々が持っている自然言語のコンテクストインプットして、タンパク質の配列をデザインする ESM3 については以前紹介した（https://aasj.jp/news/watch/26196）。

同じ ESM2 を今度は single cell RNA sequencing のデータと統合して TranscriptFormer モデルを形成し、未知の細胞でもそれが発現するタンパク質パターンを生成できるようにしたのがこの研究だ。具体的には、蛋白質に関しては ESM2 内のベクトル値を用いてトークン化し、このトークンをベースに、今回用いた12種、1889細胞タイプの1億細胞についての single cell RNA sequencing データを学習させて、TranscriptFormer を構成している。この細胞単位の遺伝子発現は、ESM2 上のタンパク質ベクトル値に加えて、それが現れる頻度も合わせて学習させており、これは大変な作業だと思う。また、このモデルでのアテンションは、発現量に応じて影響されるように設計している。こうして、細胞種単位でどのタンパク質がどの発現量で出てくるのかという確率分布を学習することで、細胞を様々に分類したり、細胞レベルの遺伝子発現プログラムを予測するなどが可能になる。

後はこのモデルのパーフォーマンスを調べている。このモデル自体には細胞の種類や名前といったアノテーションは含まれていないが、当然アノテーションをリンクできる。これにより例えば海綿の neuroid 細胞とカエルの孵化腺に対応することがわかる。従って学習に使っていない動物でのデータを、ヒトのリンパ球に相当すると細胞型を決めたりも出来る。またこのタスクに関して他のモデルと比較すると、明らかに今回のモデルの方が優れている。

おもしろいのは、Covid-2 に感染した細胞のデータをインプットして細胞型を予測させると、感染に伴うタンパク質の発現の違いを正確に検出すると言った現実的課題にも成功している。同じように、例えばガン化の際に起こる変化の予測や、薬剤によるタンパク質発現変化についても、他のモデルよりははるかに優れた予測性能を持っていることがわかる。さらに発現している転写因子をプロンプトとしてインプットすると、標的遺伝子もリストできるという具合だ。また、B細胞の CD19 を条件としてインプットすると、B細胞で働く転写因子群をリストできる。

完全に理解しないで紹介しているので、要領を得ないかもしれないが、私の理解をまとめてしまうと、ESM2 のタンパク質エンベッディングを細胞という単位で再構成して新しい潜在空間に分布させることで、生物の最小単位の細胞に必要なタンパク質の集まりを表象するとともに、生きた細胞という制約の中で起こりうる進化的多様化をコンテクストとして学習したモデルが TranscriptFormer だ。当然細胞分化の過程は潜在空間内の近接したベクターの変化として追えるし、細胞レベルで種間の距離を調べ、進化を明らかにすると言った現実的課題も可能になっており、一度自分のデータをインプットすることが大事だろうと思う。

私のガン細胞に関しては single cell 解析は行っていないが、もし行っておればどの転写因子が支配的で、どのプログラムが正常から逸脱しているかもわかるかもしれない。