我々の脳の中には、意味やカテゴリーに反応する細胞があることが知られている。例えば、リンゴやハンバーグについて聞いたとき、これらの単語は食べ物として理解されるが、この食べ物というカテゴリーに反応する細胞だ。しかし、これまでの研究では単語の意味については、我々の知識をベースに、研究ごとに自由に決めていた。従って、食べ物というカテゴリーと、乗り物と言ったカテゴリーの違いを客観的に数値化することができなかった。そこに、一つ一つの単語が多次元空間の中のベクターとして表現する言語モデルが現れ、例えば現在使われている ChatGPT では次元数が １２２８０だが、GPT2 ではぐっと下がって７６８次元になる。いずれの場合も、しかし単語はその次元空間内のどこかに位置するため、単語同士の距離関係が数値として得られる。

こうして定義できる単語間の距離を用いて意味を定義し、これに対する単一神経細胞レベルの反応を調べた研究が、今日紹介するハーバード大学からの論文で、７月３日 Nature にオンライン掲載された。タイトルは「Semantic encoding during language comprehension at single-cell resolution（言語を認識する際の意味がコードされる過程を単一神経細胞で調べる）」だ。

この研究では深部刺激電極設置手術の際に、患者さんの了解を得て言語野に単一神経レベルの記録が可能な電極を挿入し、意味のあるセンテンス（単語が意味なく並べられた場合もある）を中心に被験者に聞いてもらい、そのときの神経反応１３３個のニューロンで記録、特定の意味に反応する神経細胞集団を特定している。

これまでの研究では食べ物というカテゴリーかどうかと言った分類で調べていたが、この研究では３００次元のトークンを持つ１５０億コーパスを学習させたモデルを用いて、各単語の意味の近さを算出し、それと神経反応を対応させている。ただ、数値ではわかりにくいので、行動、天候といった意味にも分類してくれており、意味に反応する神経があること、そしてそれを言語モデルを用いて同じベクトル座標で研究可能なことを示している。

神経反応をデコーダーで解析することで、各神経の反応から単語の意味をデコードできることを確認したあと、文章として意味のあるセンテンスを聞いたときと、ランダムな単語の並びとして聞いたときで、単語の意味を脳の反応から予測する確率を比べると、単語の意味の理解が文章内のコンテクストにより決められていることがわかる。すなわち、トランスフォーマーのような言語モデルと一致する。

最後に、それぞれの神経の反応と３００次元の意味空間と距離とを相関させると、ほぼリニアーな関係が認められ、意味に対する神経反応も、言語モデルと同じように行われているのではないかと推察している。

結果は以上だが、トランスフォーマーモデルの出現で可能になった自然言語の処理方法が確実に言語の脳科学を変えていることが実感できる論文だ。この研究では、脳の反応と言語モデルは別々のモデルとして対応しているが、以前紹介した MRI 画像から脳内に浮かんだ文章を GPT1 を用いて推測する研究のように、両者を統合することも始まっている。GPT を使っていると、自然言語という人間の発明の途方もない壮大さを感じるが、脳から発生した言語を用いて、今度は脳を理解すると言った双方向性が生まれていることがわかる。

次回のジャーナルクラブはアルツハイマー病と考えているが、８月は脳と大規模言語モデルをまとめてみたい。