GPT, Gemini, Claudeなど、大規模言語モデルの進展はめざましい。既に2年以上GPTは有料で使っているが、ますます使いやすくなっている。何を隠そう、今年からNPOの活動報告書は全てGPTに任せている。当然医学分野でも汎用の言語モデルのパワーは目を見張る。医学知識のある場合、聞き方もポイントがわかるので、ほとんどの場合用が足りている。

例えば4月30日号のScienceに「Performance of a large language model on the reasoning tasks of a physician（大規模言語モデルの医者が行う診断理由課題に関するパーフォーマンス）」と題する論文が発表された。正直この論文をScienceの論文として認めていいのかという気もしたが、医療の基礎とも言える、提示される患者さんの問題から、診断や判断の理由付けを行う過程を、医者と最新のOpen o1、GPT4の判断を専門家に評価させ、一般医師の判断と比べた研究だ。

医学雑誌や病院のケースレポートなどをベースに作成したプロンプトを使っており、実際の患者さんに対しているわけではないが、例えばNEJMが提供する医師教育問題で、診断の妥当性、正しい鑑別が出来たか、その理由を提示できたかなど多くの項目を評価し、特別に医療に特化した学習をさせなくても、使い方によって汎用言語モデルは一般的な医師を凌駕することを示している。

このように汎用大規模言語モデルを使う方法もあるが、現在Googleが進めているのは、医療に特化したモデルを医師向け及び患者向けに整備していく方向だ。そのほとんどについてはこのブログで紹介してきたが、Geminiをベースにした2種類のモデル、MedGemmaは医師向けの、そしてAMIEは患者さんとの対話目的で開発されている。

MedGemmaは医師が患者さんの画像や検査データとともに診断や方針を決める助けになる、オープンソースモデルで、医学部や病院で診断補助だけでなく、教育にも使えると思う。

今日紹介するロンドンにあるGoogle Deep Mindからの論文は患者さんとの対話向けモデルAMIEのマルチモーダルな進化版の評価を行った研究で、5月14日Nature Medicineに掲載された。タイトルは「Advancing conversational diagnostic AI with multimodal reasoning（マルチモーダルな理由を提示できる対話型診断AIの進展）」だ。

様々な臨床でのQ&Aを学習した、患者さんとの対話から鑑別診断が出来るモデルAMIEについては昨年4月に紹介した（https://aasj.jp/news/watch/26528）。　AMIEはテクストによる対話に特化して鑑別診断をするモデルだが、新しいモデルではMedGemmaのように、画像やデータを読み込んで、一緒に判断するマルチモーダルな能力を付与している。もちろんこの画像やデータ解析能力は、レントゲンなど医療情報にも適応すると思うが、この論文では、リモートで初診の患者さんの訴えを聞いて、可能な病気を理由付けとともにリストし、次の検査や処置を指示できるか、以前の研究と同じで、患者に扮した俳優にプロンプトを覚えさせ、AMIEと一般医とを比較している。

実際のプロセスでは、まず患者さんから症状や病歴、他にも家族歴など必要な聞き取りを行い、そこから鑑別する病名を理由とともにリストし、患者さんからのインプットに応じてそれをアップデートすることが出来るようにしている。

まずこのレベルで医師と比べると、AMIEの論文と同じで、ほとんどの項目で一般医を凌駕する。また、患者に寄り添ってくれているかについての評価もAMIEに軍配が上がる。その上で、この研究では、テキストに答えて患者さんでも採取できるデータを使えるかについてテストしている。

一つはスマフォで撮影した皮膚の画像と、スマートウォッチで採取できる心電図情報になる。即ち、鑑別診断として皮膚画像や心電図が必要になったとき、対話している患者さんからのデータを適切に利用して診断に利用できるか調べている。テキストだけでは、AMIEと一般医との差はそれほど大きくないが、皮膚の画像を鑑別診断が指示したときのパーフォーマンスは、圧倒的にAMIEが高い。これと比べると心電図はAMIEが優れていても差は大きくない。

以上が結果で、今後医師へのアクセスが限られているリアルワールドでパーフォーマンスをテストすることが最も重要だと思う。もちろん日本のように検診データが揃っているところでは、それを読み込むことでより高い診断のための対話が可能になる。Googleの戦略の強みは、医師向けと患者向けを並行してい開発している点で、リアルワールドでのパーフォーマンスを注視していきたい。