ニューラルネットによる AI の進展は、ニューラルネット研究の本家である脳研究を大きく変化させているように思える。その典型とも言える、我々が見た物を思い出すときのイメージ形成が AI ニューラルネットでの畳み込みと同じプロセスを用いていることを示した論文が、Cedars-Sinai 医療センターから4月9日 Science に掲載された。タイトルは「A shared code for perceiving and imagining objects in human ventral temporal cortex（視覚対象を見たときと思い浮かべるときに、人の腹側側頭皮質で共通に使われるコード）」だ。

我々が見て記憶した物を思い出すとき、実際に見たときに興奮する腹側側頭皮質 (VTC) 神経アンサンブルをもう一度興奮させていることは、イタリアの Bisiach と Luzzatti の脳損傷の患者さんに馴染みのミラノのドゥオーモ広場を思い浮かべさせる有名な研究から明らかにされ、その後様々な研究が行われている。ただ、イメージが VTC にどのように再構成されるのかについては、様々なカテゴリーに選択的に反応する神経が存在する以上のことは明らかになっていないように思う。

この研究では、てんかん巣診断のために VTC をカバーして留置された電極を用いて、一個一個の神経細胞の反応を、物を見ているとき、そして思い浮かべるときに記録し、一方で視覚の対象に用いた様々な写真（例えば椰子の木、サル、双眼鏡、Tシャツなどなど500種類）を、ニューラルネット畳み込みを用いて50次元の潜在空間に分布させることで、形やカテゴリーを数値化して扱えるようにしている。もちろん、もっと大きな次元数を用いて正確にイメージを構成することも可能だが、これ以上大きいと神経反応を対応させることが簡単ではなくなる。

これまでの研究のように、カテゴリーや形の特徴を意味的に分類して神経反応を対応させたのと異なり、ニューラルネットでベクター化すると、どの次元軸に個々の神経細胞が反応しているのかを決めることができる。これまで意味や画像の形態要素をベースに神経興奮を解釈したのとは異なり、純粋に画像に即した解析が可能になる。

結果は期待通りで、個々の神経細胞が反応する個別の軸を抽出できる。即ち50次元のほとんどの軸には反応しないが、ある特定の軸の数値に比例して興奮する一個の神経を見つけることができる。そして、この軸に500個の対象を分布させると、それぞれに対する反応はその分布と完全に比例する。

おもしろいのは、同じ軸でさらに高い値を示す画像を再構成して見せると、この神経は経験した実際の対象以上に反応することがわかる。我々のVTCの個々の神経からなるネットワークも、AI ニューラルネットワークと同じように、それぞれの画像を潜在空間に分布するベクターとして処理している可能性が高い。

そして、500個の中の一つ、例えばサボテンを思い浮かべてと命令されたときに起こるVTC神経の興奮は、見たときと比べて40％程度の神経が共通に興奮するだけだが、それぞれの神経細胞が対応する次元軸を見ると、イメージの特徴を最も的確に再構成する軸に対する神経が選ばれて興奮していることがわかる。さらに、記録している全神経の活動をベースに、思い浮かべている実際のイメージを6割ぐらいの確率で再構成することも出来る。この時、100個の神経の記録から、かなり正確なイメージを再構成できる。

以上が結果で、説明がわかりにくかったかもしれないが、我々の脳の画像処理も、　AI ニューラルネットワークの画像処理も、同じアルゴリズムを使っているのではという話になる。そして、生成 AI が一つのプロンプトから新しい画像を生成するのと同じように、我々のVTCネットワークも潜在空間の中から確率論的にイメージを生成していることが示されている。即ち、画像を AI ニューラルネットで多次元空間の数値として表現して、それを個々の神経興奮と対応させるというアイデアで、脳と AI の画像処理を比べた点が研究のハイライトになる。

もし我々の脳も同じ生成モデルを使っているとすると、例えばプロンプトに対する我々と画家の反応を調べるのはおもしろそうだ。これまで言語処理については AI と脳の対比が行われてきたが、今後画像や音と言った様々な要素についての対比が進む予感がする。