昨日に続いて今日も大規模言語モデルの論文になるが、Nature やScienceのような一般トップジャーナルでAIに関する論文の数が急速に増えてきた様に思える。それを反映して、今週号のScienceは、A machine-intelligent worldというタイトルでAIが特集され、様々な論文が発表されている。この最後に編集者が様々な専門家の意見をまとめた記事があり、Marvin Minskyが予言したSuper intelligenceを持つAI技術の課題がほぼ解決されるという時代が来たこととともに、1）Data contamination、2）答えの安定性、3）ハルシネーションの問題がリストされている。いずれにせよ、３年前に我々が新型コロナを経験したのと同じ様なインパクトのある波に科学と社会が直面していることは間違いない。

今日紹介するMITのDepartment of Economyからの論文は、ChatGPTの労働生産性と労働者への影響を調べた研究で、7月14日号Scienceに掲載された。タイトルは「Experimental evidence on the productivity effects of generative artificial intelligence（生成AIの労働生産性効果に関する実験的研究）」だ。

研究はウェッブの呼びかけに応じた４５３人に、申請書作成のような文章を作るデスクワークを行なってもらうときに、ChatGPTを使うグループと、使わないグループに分け、仕事の速さや質といった生産性を調べている。さらに、その後のフォローアップも２ヶ月間行なっている。

多くの会社で大規模言語モデルをどう使うか考えていると思うが、そのニーズに合わせてこんな実験をやってしまうとはさすがアメリカと思う。実験は今年の1月に始められており、ChatGPTが昨年１１月公開を考えると、極めてタイムリーだ。実際、ほとんどの参加者は、月収７万ドルに近いホワイトカラーだが、参加時点でChatGPTを使った経験はなく、存在についても聞いたことがあるという人がいる程度だった。

課題は一種のアルバイトのような形で提供され、基礎時給が１０ドル、仕事のできに合わせて１４ドルまで追加されるという、実践的な実験になっている。

基本的には、与えられた課題をChatGPTに作らせ、それを自分で添削して提出することになるが、このような仕事の場合、必要な時間は４割減少し、さらに専門家が判断した仕事の質は１割程度上昇する。まさに期待通り、ChatGPTを用いると労働生産性が上がる。

参加した被験者のこの課題についての能力は最初はばらついているが、ChatGPTを使うようになってから、課題をこなすごとに個人差もなくなっていく。

基本的に仕事の質は検証されれいるので、経営者から見たらめでたしめでたし、労働生産性の向上にChatGPTは大きく寄与することになる。

これだけなら世界中のオフィスで経験されていることだが、この研究では同じ仕事をChatGPTに行わせてみて、実際参加した人が、ChatGPTによる結果をどの程度訂正、編集しているかも調べている。すると、ほとんどの参加者がChatGPTからの結果に満足して、添削は最小限にとどまっていることもわかった。

最後に参加者にChatGPTの評価をしてもらうと、仕事が効率化されるので今後も使うというポジティブな評価をしている。その上で、今後仕事が奪われるという恐怖か、さらに楽になるというポジティブな評価かを調べると、楽天的で、ChatGPTのおかげで良くなるという評価が圧倒的に多かった。

また、一度使うと多くの人が自分の仕事に使っていることもフォローアップで確かめている。

結果は以上で、驚く内容では無いが、タイムリーに実験的にChatGPTのポテンシャルを確かめている点と、Science が掲載していることに驚いた。