今年は大規模言語モデル（LLM）の様々な分野へ導入した論文がトップジャーナルに溢れるようになる元年と言えるかも知れない。一般の方ににとってLLMは、ChatGPTのようなテキストを学習させたモデルを指すのだと思うが、元々ノンリニアーな情報を扱う生物学では、早くから様々な目的でLLMの導入が進んでいるが、最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。

過去の経験は未来の予測に重要だが、これまでの予測はデータをなんとか法則に落とし込んで、その法則を未来に適用してきた。これに対しLLMでは、過去のデータを自然にコンテクスト化して、そこから最も確率の高い結果を導き出す。まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。

今日紹介するGoogleの２つの研究所からの論文は、３７００万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象データを学習したモデルが、スーパーコンピュータを用いた気象予想より正確な予測を行えることを示した研究で、１２月２３日 Science に掲載された。タイトルは「Learning skillful medium-range global weather forecasting（地球規模の中期天気予想を可能にするモデル）」だ。

ノーベル賞を受賞した真鍋博士により気候モデリングによる予測が始まったが、現在は多くのデータをスーパーコンピュータで計算する方向に進んでいる。この研究では、これに対し、小さな領域の気象データを世界地図の上にマップして学習させることで、スーパーコンピュータ以上の予測性能が可能ではとチャレンジしている。

実際には世界を１００万ポイントに分け、地表でのデータとともに、上空の気象データなどが、地球を取り巻く仮想ネット上のノードに集約するようにデータを処理し、これをトランスフォーマーに学習させている。

マイナス６時間、０時間のデータを読み込み、プラス６時間の予測と実際の結果を示すことで、一種のマスク事前学習を行い、最終的なGraphCastモデルを作成している。

驚くのは、このモデルが４千万程度のパラメーターのニューラルネットワークで処理できる点だ。ChatGPTが１７００億パラメーター、研究室レベルで使えるGPT2が１５億パラメーターであることと比べると、ほとんどパソコンレベルと言って良い。

それなのに、日常の予測では中期予測センターHRESを凌駕する。さらに、台風やサイクロンと言った異常気象、さらには熱波や寒波のような異常気温の予測についても１０日後までの中期予測では圧倒的に予測精度が高い。

以上が結果で、専門でないのでずいぶん省略したが、LLMのパワーを思い知る。計算に基づく方法と比べると、LLMの宿命で予測の確率を出すことが難しいが、これも可能になるモデルがすぐに出てくる気がする。

このようにLLMは、ノンリニアな現象が溢れる我々の世界を読み解くすごい力になる。それをGoogleは完全に理解し、次から次へと新しいモデルとして実現している。GhatGPTで揺れた一年だったが、蓋を開けたらαFoldに続き、MedPalmからGraphCastまで、トップジャーナルだけで見てもGoogle一人勝ちの印象が強い。大きく後れをとった我が国では、遠い背中を追うのではなく、新しい発想でチャレンジする若者が必要だと思う。