昨日Zoom開催した「大規模言語モデルと人間の脳を比較した研究論文」についてのジャーナルクラブをYouTube配信しているので是非ご覧いただきたいが（https://www.youtube.com/watch?v=lpzWzTTdcjc）、一般には難しい内容をうまく伝えられたか心配だ。ご覧いただいて、是非問題点を指摘してほしい。

ただ、このジャーナルクラブで伝えたかったのは、Transformer 誕生以前も脳活動と単語や意味を相関させるために機械学習を多用していた脳科学が、Transformer ベースの大規模言語モデルによってさらに新しい可能性を切り開いていることだ。大規模言語モデルは、我々の言語世界を、多次元空間に分布している単語などの構成ユニットとして表現している。すなわち、我々の頭の中で繰り返し行われてきたユニットのコンテキストをベクトル空間の位置として表現できる様になった。これを利用することで、同じコンテクストを感知している脳の神経活動を、コンテクストレベルで言語へと再変換できる様になり、これまでの様な脳活動と単語といった単純な相関を遙かに超えた研究可能性が生まれている。

この脳活動と大規模言語モデル (LLM) を比較し、統合する研究の可能性を示せるいい例はないかと論文を調べていたところ、８月１５日号の The New England Journal of Medicine に、コーネル大学を中心とした国際チームからCognitive Motor Dissociationについての論文を見つけたので、紹介することにした。タイトルは「Cognitive Motor Dissociation in Disorders of Consciousness（意識異常で見られる認知と運動の乖離）」だ。

Cognitive motor dissociation (CMD) は、周りで起こっていることを認知できているのに、運動機能が完全に傷害されているため、わかっていると伝えられない状況を指す。従って、一般的な検査だけだと、植物状態として十把一絡げにされてしまう危険がある。

これを調べるためには、植物状態であることを診断したあと、脳の活動を見る機能 MRI (fMRI) や脳波系を用いて、患者さんに例えば「手を開いたり閉じたりしてみて」といった認知課題に、それに合わせて運動しようとする脳反応が現れるかを調べる必要がある。この検査は、ただ音が聞こえるとか、光に反応するといった以上の脳の認知機能を必要とする課題で、これによって患者さんが本当は周りの会話を理解していることすら診断できる。

この研究では北米とヨーロッパの様々な施設に入院している植物状態の患者さん２４１ 名について、マニュアルに精通した専門家による認知反応検査と、脳内で行動を思い浮かべる様指示したときに見られる神経反応を fMRI や脳波計で調べる検査を行い、認知反応検査で植物状態と診断された患者さんの何パーセントが指示を頭の中で思い浮かべられるかを調べている。

結果はなんと植物状態と診断された２５％の方が CMD 状態で、わかっているのに動けないだけであることが明らかになった。ただ、この研究では患者さんの反応を完全に理解できているわけではない。刺激に対する反応以上であることはわかるが、しかし患者さんの訴えたいことを理解できているわけではない。

しかし、言語をベースにした脳活動の解読が可能になると、おそらく CMD の患者さんの中には、大規模言語モデルを通して、会話が可能になるのではないかと想像する。遠い未来の様に思うが、実際には一定のレベルであれば実現は早い気がする。そんな世界を GPT-4 に書かせてできたイラストも掲載しておく。