AASJホームページ > 新着情報 > 論文ウォッチ > 12月30日 大規模言語モデルによる気象予報(12月22日 Science 掲載論文)

12月30日 大規模言語モデルによる気象予報(12月22日 Science 掲載論文)

2023年12月30日
SNSシェア

今年は大規模言語モデル(LLM)の様々な分野へ導入した論文がトップジャーナルに溢れるようになる元年と言えるかも知れない。一般の方ににとってLLMは、ChatGPTのようなテキストを学習させたモデルを指すのだと思うが、元々ノンリニアーな情報を扱う生物学では、早くから様々な目的でLLMの導入が進んでいるが、最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。

過去の経験は未来の予測に重要だが、これまでの予測はデータをなんとか法則に落とし込んで、その法則を未来に適用してきた。これに対しLLMでは、過去のデータを自然にコンテクスト化して、そこから最も確率の高い結果を導き出す。まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。

今日紹介するGoogleの2つの研究所からの論文は、3700万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象データを学習したモデルが、スーパーコンピュータを用いた気象予想より正確な予測を行えることを示した研究で、12月23日 Science に掲載された。タイトルは「Learning skillful medium-range global weather forecasting(地球規模の中期天気予想を可能にするモデル)」だ。

ノーベル賞を受賞した真鍋博士により気候モデリングによる予測が始まったが、現在は多くのデータをスーパーコンピュータで計算する方向に進んでいる。この研究では、これに対し、小さな領域の気象データを世界地図の上にマップして学習させることで、スーパーコンピュータ以上の予測性能が可能ではとチャレンジしている。

実際には世界を100万ポイントに分け、地表でのデータとともに、上空の気象データなどが、地球を取り巻く仮想ネット上のノードに集約するようにデータを処理し、これをトランスフォーマーに学習させている。

マイナス6時間、0時間のデータを読み込み、プラス6時間の予測と実際の結果を示すことで、一種のマスク事前学習を行い、最終的なGraphCastモデルを作成している。

驚くのは、このモデルが4千万程度のパラメーターのニューラルネットワークで処理できる点だ。ChatGPTが1700億パラメーター、研究室レベルで使えるGPT2が15億パラメーターであることと比べると、ほとんどパソコンレベルと言って良い。

それなのに、日常の予測では中期予測センターHRESを凌駕する。さらに、台風やサイクロンと言った異常気象、さらには熱波や寒波のような異常気温の予測についても10日後までの中期予測では圧倒的に予測精度が高い。

以上が結果で、専門でないのでずいぶん省略したが、LLMのパワーを思い知る。計算に基づく方法と比べると、LLMの宿命で予測の確率を出すことが難しいが、これも可能になるモデルがすぐに出てくる気がする。

このようにLLMは、ノンリニアな現象が溢れる我々の世界を読み解くすごい力になる。それをGoogleは完全に理解し、次から次へと新しいモデルとして実現している。GhatGPTで揺れた一年だったが、蓋を開けたらαFoldに続き、MedPalmからGraphCastまで、トップジャーナルだけで見てもGoogle一人勝ちの印象が強い。大きく後れをとった我が国では、遠い背中を追うのではなく、新しい発想でチャレンジする若者が必要だと思う。

  1. okazaki yoshihisa より:

    1:気候モデリングによる予測が始まったが、多くのデータをスーパーコンピュータで計算する方向に進んでいる。
    2:この研究では、小さな領域の気象データを世界地図にマップし学習させ、スーパーコンピュータ以上の予測性能が可能ではとチャレンジしている。
    3:日常予測では中期予測センターHRESを凌駕する。
    Imp:
    1=気象物理学に基ずく偏微分方程式の数値解析による未来予測=決定論パラダイム
    2=過去のデータ(経験)に基ずく統計解析による未来予測=経験主義パラダイム
    2>>>1
    西洋科学理論の正体やいかに!?

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

*


reCaptcha の認証期間が終了しました。ページを再読み込みしてください。