トランスフォーマーなどの大規模言語モデル（LLM）を利用した新しい情報処理モデル形成については、おそらく医学領域が最もアクティブではないだろうか。その意味で、面白いと思ったモデルは今後も紹介していきたい。

今日最初のモデルは１０月１０日 米国アカデミー紀要 にオンライン掲載されたニューヨーク大学からの論文は、統合失調症の言語テストを自然言語モデルを用いて解析する研究で、タイトルは「Trajectories through semantic spaces in schizophrenia and the relationship to ripple bursts（統合失調症での意味空間の軌跡とリップルバーストとの相関）」だ。

この研究では統合失調症患者さんに、例えば「動物の名前を思いつく限り挙げて」と質問したときにリストされてくる動物の名前を、既に事前学習により単語がコンテキストに従ってエンベッディングされている自然言語モデル（トランスフォーマー以前に開発されたモデル）、すなわち単語の意味空間を用いて分析し、挙げられた単語の意味空間内での軌跡を、正常の人の軌跡と比較している。おそらく同じことは小さなコンピュータでも使うことが出来る GPT-1 や GPT-2 でも可能だと思う。要するに、発せられた言葉の意味空間上での位置さえベクトルとして数値化できればいい。

よほどおかしな動物の名前が出てこない限り、見ただけでは差を見つけることは困難だが、自然言語モデルの意味空間を用いると、小さな差を特定することが出来る。具体的には、正常の人は意味空間の位置が近い動物の名前を挙げてから（例えば哺乳動物）鳥類に移る傾向があるが、統合失調症の患者さんは犬の後、魚に飛んでまたマウスといった具合に軌跡の多様性が大きい。

残念ながら診断的価値があるというわけではないが、この傾向を数値化すると、症状や、統合失調症の人に特徴的に見られる海馬の早い振動の波（リップルバースト）と相関が認められることを示している。従って、言語行動を通して患者さんの頭の中を明らかにするのに役立つ面白い研究だ。

もう一編は、ミュンヘンのヘルムホルツ研究所とドレスデン工科大学からの論文で、直腸ガンに限ってバイオプシー標本をピクセル化して、トランスフォーマーを用いたモデルを開発する研究で、９月１１日号の Cancer Cell に掲載されている。タイトルは「Transformer-based biomarker prediction from colorectal cancer histology: A large-scale multicentric study（トランスフォーマーを基盤にする大腸直腸ガン病理組織のバイオマーカー診断：大規模多施設研究）」だ。

これまで主に「たたみ込みニューラルネット（CNN）」を用いた病理組織の機械学習は進められてきた。この研究では pixel 化したバイオプシー標本をさらに小さな四角いパッチにわけ、それぞれのパッチをトランスフォーマーにインプットして診断のためのモデルを作っている。

まず、大腸ガンの診断という意味で新しいトランスフォーマーを用いたモデルは CNN を用いたモデルを凌駕している。さらに面白いのは、ゲノム不安定性についての診断についても、十分臨床に使えるレベルで可能になっている。さらには、まだ確実性で問題はあるが、ガンのドライバーが BRAF か RAS かについても診断することが出来る。

機械学習は処理過程が全くブラックボックスと言われているが、一旦ベクトルかされた結果は確認することが出来る。そのおかげで、統合失調患者さんの単語の軌跡を追跡できるわけだが、同じように病理組織でも、どのパッチにアテンションが向かっているかを調べて提示することが出来るので、診断理由についても検証することが出来る。

以上、LLMの医学利用はますます賑やかになってきた。このことは、将来医師は何をするのかについて、今真剣に考える時が来たことを意味している。大変だ。