脳研究というとこれまで神経回路の研究だったが、人工知能が導入されてから、脳の興奮パターンと身体機能の回帰から脳をデコードする研究が盛んになってきた。このおかげで、詳しい回路はわからなくとも、神経パターンをデコードし、それを再現することで、脊損患者さんを歩かせたり（https://aasj.jp/news/watch/20924 ）、あるいはイメージした文章をデコードして書いてくれるシステム（https://aasj.jp/news/watch/15671）がすでに報告されている。

今日紹介するカリフォルニア大学バークレイ校からの論文は、脳活動のデコードが音楽にも拡大できることを示した研究で、８月１日号 PlosBiology に掲載された。タイトルは「Music can be reconstructed from human auditory cortex activity using nonlinear decoding models（聴いた音楽を人間の聴覚野の活動から非線形回帰モデルを用いて再現できる）」だ。

上に述べた様に、てんかん巣診断のために脳内に設置したクラスター電極の反応パターンを言葉や運動に回帰させて再現する研究は珍しくない。従って、音楽を聴いた時の脳のパターンと、音楽の持つ様々なスペクトラムを回帰させて、今度は脳のパターンを音楽に転換出来るという結果は特に驚くことではない。ただ、実際にどの程度再現できるのか、この論文では元の音楽と、脳の興奮パターンから再現した音楽を聞き比べることが出来るので、このような研究がどの程度の精度まで進んでいるのかを実感してもらえると思って取り上げた。

是非この論文のサイトに行っていただき→

https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3002176#sec029

ここからS1Audio(元の音楽、ピンクフロイドの(Another Brick in the Wall, Part 1の一節)と、それを聞いた脳活動から再現した音楽S2Audio(線形回帰モデル)、S2Audio(非線形回帰モデル)を聞き比べて欲しい。

この研究では２９人に同じ音楽を聴いて集めた２３７９のフィールド電極から、音楽の反応に対応する時間周波数受容野と呼ばれる３４７個の領域を特定し、それぞれの領域反応を実際の音楽のスペクトラムと回帰させている。また、ここでは脳活動の早い周期の興奮にのみ焦点を当てている。

次に、実際にはいくつの電極のデータがあればかなり正確なデコードが可能かを調べ、４３個（全体の１２.４％）のデータでかなりの再現が可能であることも示している。

この研究では、３４７個それぞれの電極の反応と、音楽の各要素との回帰を調べて、リード楽器の始まりや、その後のパターンに反応する領域、リズムに反応する領域、音楽全体に持続的に反応し、特に声に反応している領域などに分解できることも示している。

そして再現に必要なデータから、それぞれの領域データを除去することで音楽の再現性がどの程度低下するかなどを示している。

結果は以上で、驚くほどの論文ではないが、音楽を知る一つの方法論としては面白いし、聞いてもらえばわかるが再現精度もなかなかだ。

今後本当に驚くとしたら、クラスター電極から今度は刺激を行って音楽のタイトルを当てることが出来たり、あるいは同じデコーダーで異なる音楽を再現できたりするときだろう。しかし、そう遠くない話だとおもう。