自然科学の実験を AI に計画、実施させる研究は急速に進展し、このブログでも何回か紹介した。可能性だけでなく、臨床に使えそうな様々な手段が実際に生まれているのにも驚く。しかし、生命科学の実験結果を予測するとなると、自然言語だけでなく、DNA をはじめとする様々な情報を統合するエージェント AI が必要になるだろう。

これに対し、社会を形成する情報の核は自然言語だと考えると、社会科学の実験結果を、人間が生み出す膨大なテキストを学習した LLM で予測できるのではと考えられる。この問題にチャレンジしたのが今日紹介するハーバード大学、スタンフォード大学、及び Transluce 研究所からの論文で、7月8日 Nature にオンライン掲載された。タイトルは「Large language models can predict the results of social science experiments（大規模言語尾デルは社会科学実験の結果を予測できる）」だ。

まずこの論文の問題を指摘するところから始めたい。Nature の読者の多くは社会科学研究には疎いのではないだろうか。にもかかわらず、ここで使われた様々なデータについての説明がほとんどなく、何を調べているのかについてはいちいち文献を調べないとわからないという状況だった。

いずれにせよ、課題は明確で「社会科学実験結果は LLM で予測できるか？」だ。これを調べるため、LLM が学習していないと考えられる社会科学実験の結果を LLM がどこまで予測できるかを調べている。そのために使ったのが TESS と呼ばれる米国の社会科学実験のデータベースにある実験と結果だ。最初、「コロナワクチンを射ちますか」と言った調査結果かななどと考えていたが、TESS で行われている実験はかなり複雑で、子供の数は何人が良いかと言う調査の例を挙げると（https://www.tessexperiments.org/study/behrman1586）、単純に何人がいいですかと聞くのではなく、様々な家族のシナリオを見せた後、最終的に何人の子供がいいかを尋ねるという実験だ。そして、これを LLM で予測させるとき、あなたは米国の白人で、サラリーはこの程度で、等と様々なプロンプトを作成して、予測させるようにしている。

結果は GPT-4 だけでなく、多くのコーパスを学習したモデルはかなり予測精度がいい。さらにおもしろいのは、LLM の予測は、人間だけでも同じ程度に予測できる。逆に言うと社会に関する人間の予測と同じ能力を LLM が備えていることになる。

TESS だけでなく、有名な社会科学実験についても予測させている。　例えば2024年 Science に報告された、Covid-19ワクチン接種に対する SNS の影響を調べ、SNS の情報のファクトチェックの重要性を示した研究などは、極めて高い予測率を示している。一方で、25種類の反民主主義感情を抑える様々なストーリーを提示して、反民主主義的考えを抑える可能性を追求した Science の論文については予測率が少し落ちている。

いずれにせよ、人間が考える介入方法で誘導出来る因果的な人間の反応に関して LLM は高い予測率を示すことが明らかになった。

この性質を用いて、大規模実験を行うパイロット実験段階で使う可能性、例えば調査対象が少ない場合、この影響を LLM での結果と比較して評価し、大規模実験に進むか決めたり、どのような介入方法で因果性を調べることができるかについての、ストーリーを考えさせたりすることが可能になる。

ただ、これまで行われていた社会実験を制限するリスクが生まれるし、また LLM の結果を評価に使うと、LLM 自体に存在するバイアスを実験に持ち込んでしまう心配はある。

以上、データが不足しており問題の多い論文だと思うが、LLM が学習した膨大なテキストの中に、文章が生まれた属性、価値観、政治文脈などの社会的構造がコンテキストとして映り込んでいることを示している。すなわち、言語の意味空間でなく、言葉が生まれた社会状況が LLM に映り込んでいることを示し多た重要な貢献だと思う。