2024年に読んだ論文の中で一番印象に残っていたのはニューヨーク大学からScienceに発表された論文で、ヘッドカメラを付けた幼児の見た画像と聞いた言葉をTransformerにインプットすると、子供と同じようにLLMに言葉と画像の対応関係が生じたという研究だった。即ち、経験を続ける脳内を解析する代わりに、同じ経験をLLMで再現して言語発達過程を研究する可能性を示した研究だった。正に自分と同じ経験をしたアバターを作れるということが示されたと感心した。

今日紹介するプリンストン大学からの論文は、幼児が毎日聞く音の中から言葉の音素と単語という形態を抽出して扱う過程を、一人の幼児が1000日という長い期間で経験したスピーチを取り出してインプットすることで、子供と同じようにLLMも言葉の音素や単語を学習できることを示した研究で、11月5日Scienceに掲載された。タイトルは「The first 1000 days: Modeling language learning from individual children’s everyday speech（最初の1000日：個別の子供の毎日のスピーチから言語学習をモデル化する）」だ。

かなり大がかりな実験で、子供の暮らす家庭にビデオカメラとマイクロフォンを仕掛け、子供がいる場所で聞いたと思われる人の声を記録し、これをTransformerシステムを備えたLLMにインプットしている。ただインプットが並大抵ではない。8人の子供の個別の体験をインプットしているが、成長と合わせて、総インプット量はそれぞれに異なる。最大で6600時間分、最少で1921時間になっている。さらに、様々な音の中から言葉だけを抜き出して、もう一度音にな押してインプットしている。もちろん成長時期に応じてインプット量を増やして子供の経験に近づけている。そして極めつけはそれまでに聞いたスピーチを、最近の経験ほど高い確率で選んで、繰り返して聞かせている点で、これをreplayと呼んでいる。Replayは眠っている子供が脳内で経験を繰り返すことで記憶の固定化が進むことを頭に置いて行っているが、その意味は今後の研究が必要だ。

学習させたモデルは音としてインプットされたスピーチを、20ｍｓの分解能で離散化、768次元の空間に分布させるエンコーダーと、インプットされたspeechに対して次のアウトプットを予測するデコーダーから出来ている。またエンコーダーとデコーダーの学習率を変えるなど、子供の成長を考慮したかなり凝った学習が行われているが割愛する。

さて評価は、我々がLLMと付き合っているように、問いかけに答えたかと言う評価ではなく、言葉の音素を学習できたか、word form(=単語の音の形）を学習できたかを調べている。この場合英語に現れる音素を区別して（例えばPinとBinで/P/と/B/）、意味とは別にPinを一つの単語として認識できたかを評価している。方法だがかなりややこしい。音素については作成されたspeechをエンコーダーが離散化させた各ユニットに、文章に含まれる音素を正確に対応させたかどうかを調べて評価している。一方Word formについてはデコーダーから次のspeech unitがアウトプットされるかで評価しているが詳細は省く。

結果だが、同じ体験をした幼児と同じように、時間とともに学習した音素及びWord formの数が増えていくことが示され、また幼児間の多様性も反映されることが示されている。すなわち学習する量に応じて能力が上昇していく。驚くのはreplayで、何度も何度も同じspeechを繰り返してインプットすることで、word formの数は急速に増加する。ただ、このreplayがヒトや動物で見られる海馬での記憶の固定化を意味するかはわからないと言っておいた方がいい。いずれにせよ、transformer型のAI学習にreplayが有効であることはわかった。

結果は以上で、幼児の体験をLLMに再現するという意味では重要な研究で、音体験を学習するだけですくなくとも英語に必要な音素を区別し、word formも区別出来るようになることはわかった。注意が必要なのは、体験の主体となった幼児とLLMを比較しているが、幼児の方は視覚を含む様々な体験が加わった学習である点だ。一方、LLMの方は音以外のインプットはない条件で行われている。この条件は一見ネガティブに見えるが、実際には人間で出来ない実験、即ち音感覚しか無いときの言語学習と言った状況を再現できるので、将来に期待できる。

残念なのは、768次元の12層ニューラルネットで、アテンションヘッドもあることから、呼びかけに応じてそれまで学習した文章をアウトプットすることも原理的には可能に思えるが、今回はこの可能性は全く追求されていない。これが可能になると、聴覚しかない状況で得られる言語学習の研究ももっとす住むように思う。いずれにせよ、体験をLLM に移す研究はますます盛んになると思う。