時間経過とともに進展する言葉のつながりを私たちは理解することが出来る。この時、音素を区別しながら、言葉のつながりを脳内で再構成し、その内容を理解する。言語が最初は音素の並びをシンボル化することから始まったとすると、この脳過程を理解することは、言語の発生を知る鍵となるが、まず人間の脳でしか調べられないので、研究は難しい。

今日紹介するカリフォルニア大学サンフランシスコ校からの論文は、時間解像度は高いが空間解像度は高くない脳磁図計を用いて、語られるストーリーを聞いているときの脳をの反応を解析し、聞いている単語の並びの様々な要素と相関させることで、聞いた音を解読する我々の脳の仕組みに迫った研究で、１１月３日 Nature にオンライン掲載された。タイトルは「Neural dynamics of phoneme sequences reveal position-invariant code for content and order（音素の並びを解読する神経動態は内容と順番に関してポジションに関わらないコードを明らかにする）」だ。

この研究では脳磁図計の中で、自然なストーリーを聞かせ、この時に反応している脳領域を、音素や文章の複雑性、単語の構造や、音素の場所など１４の要素に分解し、それぞれの要素を脳活動と対応させ、脳がそれぞれの要素や、統合された結果をどのように表象しているかを調べている。

方法論的には、いわゆる回帰解析で、それによりどの程度説明がつくかを調べるスタイルで、数理的内容については完全に理解しているわけではない。

ただ、結果は、これまで私がぼやっと思い描いていた、一つの音素の並びを脳が追いかける、というシナリオとは全く異なっている結果で、

1）一つの音素に対して大体３００ｍsの間に、   大体３種類の独立した表象が形成される。すなわち、同じ音素を、少しづつずれて形成される表象として脳内に一定期間保持している。

2）とすると、続いて現れる音素の順番が狂ってしまうことになるが、音素間の間隔をコードすること、及びそれぞれの音素の表象に関わる領域が、次の音素と重ならないようにすることで、音素の順序の表象が形成できる。

3）それぞれの音素を維持する時間は、音素に対応する単語の内容や、文章の複雑さで調節される。すなわち、音素の現れるのが予想しやすい場合は短い時間で解読され、他の音素に集中することが出来る。

ちょっと複雑な結果なので、うまく説明できたかわからないが、要するに同じ音素を、決して一つではなく、少しづつずれながら平行して活動する２-３種類の表象として維持することで、前後の他の音素との関係を確定し、統合していることがわかる。これをPC上で実現することはそう難しいことではないが、これにより音声認識をどこまでフレキシブルに出来るのか、その結果を待って評価したい。しかし、これまで抱いていたイメージよりは、この処理方法は納得できる。