手術後6日目になるが、顔は見事に腫れたままだが、昨日ドレーンを抜いてベットから離れる時間が多くなった。20日までは予定投稿が必要で、21日からはこれまで通りその日に論文紹介することが出来ると期待したが、期待通り今日から始められる。病気のことも少しづつは報告していくが、まず論文紹介が再開できるのがうれしい。
今日紹介するカリフォルニア大学デービス校からの論文は筋肉がほとんど動かないALS患者さんの脳内に電極を埋め込み2年近く脳の活動をデコーダーに伝えて、コンピュータを用いて話したり、仕事を続ける可能性について示した研究で、6月15日Nature Medicineにオンライン掲載された。タイトルは「Long-term independent use of an intracortical brain–computer interface for speech and cursor control（脳内コンピュータインターフェースを会話とカーソル操作のために長期間にわたって用いる）」だ。
昨年6月12日、同じグループは脳の運動野に電極を設置し、GPTのような言語処理トランスフォーマーモデルでデコードさせることで、コンピュータ音声ではあっても、ほぼ日常会話が可能になることを示した論文をNatureに発表し、このブログで紹介した（https://aasj.jp/news/watch/26998）。ただ、この時の結果は全て患者さんに実験室に滞在して貰って行われた結果で、次の課題は自宅でこの技術を患者さんが使いこなして仕事に使えるかが次の課題となっていた。
昨年の論文では2種類のデコーダから初めて発話の自然さなどを実現させる試みなども加えられたが、最終的に言語と相関が高い運動野にクラスター電極記録だけで、トランスフォーマーがリズムやピッチも調整できることが示され、今回の研究でも発話に関わる領域に64電極を有するクラスター電極を4つ設置し、256カ所から一定以上の興奮とその頻度を拾っている。運動野と発話の関係については明日の論文で紹介するが、この限られた領域に通常使われるクラスター電極を設置するだけで、2年近く言語を介する仕事を可能にする脳とPCのインターフェースとして機能することには驚き、勇気づけられる。
この研究では会話だけでなく、同じ接地電極を用いてカーソルとクリックでPCが使いこなせるシステムも同時に設定しているのが素晴らしい。これにより、会話だけでなく、情報を得、レポートを書くという作業が可能になる。
さて言葉のデコードに戻ると、基本的には昨年の論文の延長なのでそれを見てほしい。まず最初実験室での280日の訓練を行い、90％以上の正確さで意図する会話が可能になっている。おもしろいと思ったのは、最初より単純なrecurrent neural network（必要最小限の文章を学習させている）を600日間使い、その後急に文章を学習させたトランスフォーマーモデルにスイッチしている点だ。即ち脳で文章を考えた時の神経活動が、我々が同じ文章を異なるモデルにインプットするのと同じように働いて、モデルがスウィッチされても違和感がないことになる。最終的には、1分間に50単語前後を書いたり話したりすることができる。また、患者さんの構文力はコンスタントに上昇し、文章当たりの単語も2年目には20単語も近づいている。この向上はトランスフォーマーへのスウィッチ後に起こっているようなので、デコーダに使うモデルが向上すればさらに複雑な構文が可能になりそうだ。
この患者さんではアイトラッカーを用いてPC操作ができるよう訓練するとともに、同じ電極セットでカーソルの動きを運動野に表象してPC上でカーソルを動かしクリックできるようになることも示している。これに必要なデコーダーは脳研究で使われるリニアでコーダーから、recurrent neural networkにスウィッチして、同じ神経細胞の興奮をより素早い作業につなげている。
以上の結果、この患者さんは、毎日支援の人にPCと脳をつなぐ作業を行って貰う必要はあるが、周りの人と会話し、PC検索を行い（これも今やLLMに置き換わっている）、レポートを書き、時にはリモートで話して仕事をすることが可能になっている。
そして一番重要な問題、即ち現存のクラスター電極が長期間機能するかだが、同じようなタスクに、同じように興奮を続けることが示されている。従って、実用上も2年にわたって機械と脳のインターフェースとして機能できることを明確に示した。
この研究の最大目標は、筋肉が使えない患者さんの知的活動の支援を可能にする工学システムの確立だが、前の論文の紹介でも述べたように、ここで得られたデータはそのまま言語を可能にしている脳についての理解に直結する。
明日は、同じ運動野に形成される身体表象の研究について紹介する。
