これまで、脳の活動から、脳に浮かんだ文章を解読するAIの開発については紹介してきた（https://aasj.jp/news/watch/15671）。私たちが文字や単語を思い浮かべたり、書こうとする時に働く脳領域の活動をできるだけ細かく拾って、あとは機械学習で脳活動と文字や単語を対応させるAI技術が背景にある。しかし、ここれを可能にするためには、これまで手術により脳の皮質に直接クラスター電極を設置する必要があり、また電極自体も長期に設置は難しく、誰もが被験者になれるというものではなかった。

しかし、今日紹介するテキサス大学オースティン校からの論文は、なんと時間解像度から考えてまず文章の再構成には不向きと考えられていた機能的MRI(fMRI)を用いて記録した脳の活動から、脳に浮かんだ文章を再現することに成功し、この分野を大きく進展させるだけでなく、人間の脳の言語処理の理解にも迫る画期的な研究で、５月１日 Nature Neuroscience にオンライン掲載された。タイトルは「Semantic reconstruction of continuous language from non-invasive brain recordings（連続的言語の意味の再構成を非侵襲的脳記録だけで可能にした）」だ。

あらかじめ断っておくが、AIなどの情報処理手法については全く疎いが、それでも何が行われたかは概ね理解できる。従って、この理解の範囲でだが、今日は大変興奮している。最近のFoundation ModelやGenerative pretraining transformer（GPT）などに詳しい人は、ぜひ自分で読んでほしいし、間違いがあれば指摘してほしいと思う。

ご存知のようにfMRIは日本の小川誠二博士によりその原理が明らかにされた脳活動記録法で、活動が始まった脳領域への血流が増加することをMRIで捉えるものだ。従って、刺激に対しリアルタイムに反応することは難しく、どうしても数秒間のラグをおいて反応が起こる。従って、言葉を聞いたり見たりした瞬間に脳記録をすることは不可能になる。

そこで、このグループは一つの文章のまとまりが表象された時の脳の活動を記録し、単語ではなく、単語が集まった意味をとらえて、それを文章に作り直すという戦略をとっている。そのために、今流行りのGPTを用いて、脳の活動でキャッチされる意味をベースに、そのまま文章に再現し、その文章を単語レベルと意味のレベルで評価してトレーニングすることを繰り返し、一人ひとりの脳についての解読モデルを作り上げている。そのために、数分の文章を聞かせるトレーニングを、一人１６時間も行っている。

また、解読についても、いくつかの左右言語野を別々に取り上げ、それぞれの解読結果をGPTにより文章にして評価することを行い、最後に全体を統合して最終解読結果が出るようトレーニングしている。

こうしてトレーニングした解読システムの最終テストとして、１分間頭の中でスピーチを考えてもらいながら、その時のfMRIを記録、後でそのスピーチと、fMRI記録から解読したスピーチを比較し、満足いくレベルで意味を解読できていることを示している。また短い音のない動画を見ている間にfMRIを記録すると、脳の反応から解読された動画の内容が実際の動画と完全ではないにせよ、十分なレベルで合致していることも確認している。すなわち、その人が何を見ているかも、脳のfMRIの記録から推察できる事がわかった。

以上、単語と脳活動の対応ではなく、ひとまとまりの意味と脳活動の対応を学習させることで、私たち人間が考えていることを読むことを可能にした画期的な進歩だと思う。また、GPTによる文章生成を、人間の脳の解読のためのフィードバックに利用したアイデアにも驚く。おそらく脳で考えている内容の解読を超えて、なぜホモサピエンスが言語を獲得できたのか、また人間の脳の言語処理を理解する上でも、大きな貢献をしたと思う。