「自閉症の科学」コーナーを最後に書いたのはもう３年前になる。結局このコーナーを続けられなかった理由は、この領域の新しい展開を示唆する論文を感じられなくなったからだ。当時を振り返ると、特にゲノム研究が進み、さらに脳画像や、新しい IT ツールなどが利用された活発な時期だったと思う。ただ、ゲノム研究も画像研究も続いてはいるが、紹介したいと思える論文が減った。

そんな時、カナダ・McGill 大学から大規模言語モデルを用いた自閉症児の診断についての論文が３月２６日 Cell にオンライン発表され、自閉症研究に新しい可能性の誕生を感じさせたので紹介する。タイトルは「Large language models deconstruct the clinical intuition behind diagnosing autism（大規模言語モデルは自閉症診断の背景にある臨床的直感を解読できる）」だ。

これまで自閉症診断に AI を用いる試みは数多く存在した。これまで紹介してきたように、ゲノム研究から、自閉症は、病気の発症を強く促すレアな遺伝子変異と患者さんの性格などを反映するコモン変異が合体していることがわかっており、この遺伝的複雑性の解析に AI が用いられる例は多いが、成功には至っていない。

この研究は、もう一度自閉症診断の原点に帰って、直接自閉症児と接している医師やプラクティショナーといったプロフェッショナルが自閉症児の状態について書いたレポートの中に、プロが診療で感じている直感が埋め込まれているはずで、これを見つけ出せば自閉症診断が可能になるのではと考えた。

当然大規模言語モデルの登場になるが、ただレポートを読み込ませた新しいモデルを使うのではなく、いわゆる transfer learning が用いられている。もう少し具体的に説明すると以下のようになる。

まず、１０００人の自閉症児について書かれた４０００にのぼる臨床レポート（フランス語）を、フランス語の RoBERTa と呼ばれる Google の大規模言語モデルに学習させる。大規模言語モデルといっても１.５億パラメーターで GPT-2 に近い。おそらくこの小さいということが重要で、どこでも誰でも使えるだけでなく、後で学習させたセンテンスの分析が可能になる。この学習過程で、自閉症児に関するテキストを一般言語空間にベクトル化 (embedding) できればよい。

すなわちこの学習は診断ではなく、文章のコンテクストを形成させ、これを新しいモデルにトランスファーして自閉症児に接する時に最も顕著に使われるセンテンスを抜き出すことが目的で、この研究では次に、通常の multi-head attention とは異なる single head attention を用いて、どのセンテンスが自閉症児の診断に最も注目すべきかを調べている。

大きいモデルから小さいモデルへの transfer learning なのだが、わざわざ single head attention を用いることで診断根拠をわかりやすくしている。

これまで同じような目的で開発されていた文章解析方法と比べると、今回のモデルは圧倒的にパーフォーマンスがいい。そして、embedding を次元圧縮して、自閉症児についてのレポートに使われるセンテンスが、他の性質のレポートと明らかに異なる言語空間に存在することを示すのに成功している。

この研究では pre-learning に小さなモデルを使っているので、１２層のニューラルネットを経過するときに、センテンスからのコンテクスト抽出が進化していく様子も解析しているが割愛する。

こうして解析された自閉症児についてのセンテンスの解析から、使われる単語の特徴も抽出でき、letter、number といった言葉を押さえてレポートに最も使われたのが、flapping という発声に関わる記述であるのも驚く。

そしてこの研究のハイライトは、症状に基づいて自閉症の診断に用いられる診断法で使われる基準を同じ空間に embedding すると、社会性診断に関わる診断基準の embedding は自閉症児を表すセンテンスとは全く離れた位置に分布することを明らかにしたことだ。この結果は、これまで自閉症児の診断のために Theory of Mind といった社会性を重視することが本当に正しいのかと疑問を投げかけている。一方、一つのことへのこだわり、反復行動、興味の対象の限定などについての診断項目は、見事に自閉症児に関わるセンテンスとオーバーラップする。

結果は以上で、自閉症児に接している専門家が直感的に診断に最も則した言葉を選んで使っていることがよくわかるとともに、将来言語モデルを超えてコンセプトモデルへと発展することで、ゲノム、そして脳画像などが統合されたモデルができるのではと予感する。

もう一つ重要なメッセージは、言語モデルもただ大規模にするのではなく、分析可能な規模で、しかも自分の目的に合わせて transfer learning を行えるほうが、日常の診療には役立つという点だ。その時、当然日本語の言語モデルは重要になる。このような利用を臨床現場で重ねることで、新しい発見があることを念頭に、我が国の AI 研究助成を進めてほしいと思う。