1月31日:100人に尋ねて正解を得る方法(1月26号Nature掲載論文)
AASJホームページ > 2017年 > 1月 > 31日

1月31日:100人に尋ねて正解を得る方法(1月26号Nature掲載論文)

2017年1月31日
SNSシェア
    今年からNature出版は「Nature Human Behaviour」をスタートさせた。メールマガジンで送られてきた第1号の論文リストを見て、思わずフリーアクセス論文を4編もダウンロードしてしまったほど、一般の興味を引く論文が掲載されている。Aims & Scopeを見ると、人間の行動に関することならなんでもありという雑誌で、「人間科学」専門誌と言ってもいいのかもしれない。今後が楽しみで、ぜひ図書館でも購入して欲しいと思う。ただ、今日紹介するMITからの論文はこの新しい雑誌に掲載された論文ではなく、1月26日号のNatureに掲載された論文だが、エディターも新しい雑誌のことを意識して掲載を決めたのではないかと推察する。タイトルは「A solution to the single-question crowd wisdom problem(問題解決のための集合知が抱える問題に対する一つの対策)」だ。
   論文を読んでいてほぼ全てが理解できる場合と、主旨や結果はおおむね理解できるのだが、途中過程の詳細がよくわからない論文がある。そんな論文は責任が持てないので、紹介しないようにしているが、今日はあえて「途中の過程は理解できていません!」と断った上で、それでも紹介することにした。
   この研究が対象としている問題解決に対する集合知とは、次のようなものだ。例えば私たちがアメリカに行って、周りのアメリカ人に「ペンシルバニア州の首府はフィラデルフィア?」、あるいは「サウスカロライナ州の首府はコロンビア?」とそれぞれ一番人口の多い都市を指定して尋ねて回り、正しい答えを導き出そうとしたと考えてみよう。もし最初の問いも、次の問いもYesが60%,Noが40%だとすると、多数決でフィラデルフィア、コロンビアが正解として選ばれる。これが単純な統計原理だ。ところが正解はハリスバーグとコロンビアで、ペンシルバニア州の首府については間違った情報を得てしまう。すなわち、単純な多数決原理では、一般的に人口の多い都市が首府だとするバイアスに囚われていたり、知識程度が多様な人達に尋ねても正解が得られないことが多い。
    この問題を解決するため、答えの信頼度に関するデータを集め補正する必要がある。Yes/Noを聞くと同時に、自分の答えにどのぐらい自信があるかを尋ねて、答えを補正することが次善の策になる。ベイズ統計もよく似たものだが、人間の自信ほど信頼おけないものはない。実際データを集めてみると、フィラデルフィアに関する問題の場合、どちらの答えを出した人も、自分の答えは信頼おけると答えている。一方、多くの人が知識がないと感じているサウスカロライナ州の場合はどちらの答えを出した人も、自信の程度はばらつく。すなわち、自信度で補正しても、結局正しい答えが導けない。従って、比較的単純なルールに基づく問題に適用できても、人間の知識のように多くの要素が関わる場合、この方法はあまり役立たない。
   そこで著者らは、自分の答えの信頼性を聞くかわりに、自分の答えが他人の答えとどのぐらい一致しているかを予想してもらうと、正解に近づけるのではと提案する。
   例えばペンシルバニア州の首府の場合、誰もが一番大きな都市フィラデルフィアだと思ってしまうことから、フィラデルフィアと答えた人も他の人が同じように考えていると予想する。しかし、ハリスバーグという正解を知っている人は、これは自分しか知らないだろうと思っているので、他の人はまず間違うだろうと予測する。すなわちYesの答えを出した人は他の人と100%意見が一致すると言い、Noと答えた人はまず他人とは一致しないからNoと答える。このため、この条件で補正すると正解に大きく近づく。一方、サウスカロライナ州のようにもともと知識が乏しい州の場合、答える側もそのことを知っており、結果他人との一致率についての予測度はばらつくため、コロンビアという答えが大きく補正されることはない。
   このアイデアを使えるかどうか、アメリカの州の首府についての問題、一般的な物知り度を調べる問題、皮膚科医の診断能力を調べる問題、現代絵画の価格を推定する問題を、実際に行って得たデータを、単純多数決、自分の答えに対する信頼度を補正した計算、そして他人と自分の意見の一致率の予想値を補正した計算のどの方法が実際の正解に近づくか調べている。
   結果は全ての場合で、著者らの提案する他人と自分の意見の一致についての予測値を加味した時が一番正解に近い数値が得られるという結果を得ている。一種の論理学の問題と言えるだろうが、ちょっとしたアイデアが立派な論文になっているのに驚く。
   問題は、政治や経済のような、嘘がまかり通る世界でこの手法が使えるかだが、直感的に簡単でないだろうという印象を持つ。とはいえ、人間の行動パターンを知るための研究としては面白いし、集合知を利用するなら、このような研究を地道に重ねるしか方法がないだろうと思う。
カテゴリ:論文ウォッチ