言語誕生を考える時、もちろんそれを可能にする脳の条件を理解する必要があり、明晰記憶の仕組みなどを勉強したが、今日紹介するダブリン・トリニティカレッジからの論文を読むまで、言語に対して私たちの脳がどう反応するかについての研究はあまりフォローしてこなかった。しかし、読んでみると言語と脳について失語症とだけ絡めて理解していた自らの不明を思い知った。これをきっかけに、少し時間をかけてこの分野も整理してみようと思っている。
論文のタイトルは「Electrophysiological correlates of semantic dissimilarity reflects comprehension of natural narrative speech(言葉の意味の相違に関連する脳活動は自然な話し言葉の理解を反映している)」で、3月5日発行のNeuronに発表された。
人間は1分間に100−200語を理解できるそうだが、時間とともに単語が流れてくる文章を脳でどう理解しているのか不思議だ。これには文章の意味という全体と、それを構成する個々の単語という部分からなっているが、文章全体の意味は原則として最初はわからない。従って、個々の単語を聞きながら意味を抽出していく必要がある。これまでの研究で、この過程で急に場違いな単語が文章に入ってきた時0.4秒のちに脳波に特有の下振れが起こり、これがN400として、この分野の重要な問題になっていたようだ。
この研究では、N400が場違いな単語を文章の中に紛れ込ませるという人為的な設定になっているので、自然な話し言葉の中で個々の単語に対する脳の反応を調べる新しい方法を開発することを目的にしている。
そのために、文章の中に出てくる単語を400次元のベクトルとして定義し、この値を基礎に個々の単語の持つ違いを数値化するという操作から始めている。400次元と聞くと難しそうだが、おそらく自動翻訳などでAIを使って単語間の近親性を計算しているのと同じ話だと思う。私たちは意味と言うと、すぐに自分の経験で考えるが、AIが発達した今は、このように多くのパラメーターを使った多次元空間での距離で定義するのが普通になっているようだ。
重要なことは、こうして定義された各単語の距離を、自然の文章の中で現れる単語同士の距離として計算できることで、この研究では前に現れた単語と比べた時の距離(概ね意味的差異)と、それに対する脳波記録を対応させ、独自temporal response function(TRF)指標を作成している。例えばone fishと聞くと、oneとfishの意味論的差異は大きく、それに対応する脳波の反応TRFはより低下するという具合だ。このTRFは単語を聞いた後0.3-0.5秒ぐらいで一番低下が激しくなり、脳の各領域で測ることができる。
次にTRFが文章の理解と相関していることを示すために、文章を逆さまに読んで聞かせると、いくら単語間の距離が離れていてもTRFは低下しない。またノイズで理解が妨げられると、やはりTRFは低下しない。逆に、画像を見せて理解を高めると、TRFの反応が良くなる。
以上が結果の全てだが、自然な会話の流れの中で、意味と単語間の関係がなんとか発見できたことがこの研究のハイライトだろう。私のような素人でも、この結果から様々なアイデアが湧いてくる。このように言語に興味を持っている人には、極めてエキサイティングな研究だと思う。これから2週間ほど、この分野を読み漁ることにした。
カテゴリ:論文ウォッチ