生物学的人類が進化してから、その大きな発展を支えたのが、５万年前後に起こったと考えられるシンボルを用いた言語の誕生、そして紀元前４０００年頃に起こった文字の発明と言われている。文字の発展については、少し古くはなったがこのHPに書き残している「文字の歴史」を是非お読みいただきたい（https://aasj.jp/news/lifescience-current/11129）。

文字の誕生以降我々の脳活動の一部を蓄積できるようになり、さらにこの蓄積がデジタル化されることで、これまで特殊な専門家のみが独占してきた様々な情報が、一般にも広く使えるようになってきた。そこに、ChatGPTのようなAIが登場することで、これらの蓄積は完全に一般に開放された。

事実、１７００億という膨大なパラメーターを備えたChatGPTを使ってみると、膨大であれば、言語情報を学習するだけで人間が出来るほとんどのことがGPTで出来ることを認識し、改めて文字情報の蓄積が人間そのものであることが実感できる。

とはいえ、医学となると言語以外の様々な情報が必要になり、５月１１日に紹介したように（https://aasj.jp/date/2023/05/11）大規模言語モデルを基礎としつつも、言語とともに画像などの他の情報も同時に処理できるようにするmultimodal AIが必要になる。この場合一つのトークンに画像などの他の情報を載せる必要があり、素人の私から見ても大変なトライアンドエラーが必要になり、どこでもすぐに導入と行かないだろう。

これに対して今日紹介するニューヨーク大学からの論文は、病院に蓄積された言語情報だけで医師の将来予測を助けるAIを設計可能であることを示した論文で、ChatGPTだけでなく、特殊な学習をさせた様々なAIが併存することの重要性を示した研究で、6月7日 Nature にオンライン掲載された。タイトルは「Health system-scale language models are all-purpose prediction engines（ヘルスシステムスケールの言語モデルは多用途予測エンジンになる）」だ。

この研究ではGPTではなく、Googleの開発したBERTを用いて、ニューヨーク大学（NYU）関連4病院の電子カルテの中から、文字情報として書き込まれたノートをランダムに集めるとともに、一部微調整のためのラベルをつけたノートを用意し、これを学習に用いている。

学習は一般的に用いられる文章の中の隠された単語を推測するという、masked learningを用いて、ランダムに集められた臨床ノートだけで学習させる。そのタグ付けされた臨床ノートを用いて強化学習を行い、こうしてできたAIをNYUTronと名付けている。

学習には１０億（ChatGPTで１７００億）のパラメーターを持つニューラルネットに数十万のノートから抽出された５千万語の単語が用いられている。おそらく様々な問題に答えを出せると思うが、この研究では、院内死亡確率、感染など他の病気の合併の可能性、３０日以内の再入院の可能性、予想される入院日数、そして保険請求が拒否される確率を計算させている。

これまでもこのような問題については、主に教師付学習をも強いたAIが使われており、これと比べると、いずれの問題についても他の方法より遙かに高い予測率(専門的にはAUC0.8以上)を示している。また、再入院可能性については他の大規模言語モデルを用いたAIと比べているが（専門知識がないのでBERTを用いたNYUTronとどこがどう違うのかはよくわからないが）、少ない学習で高い予測率という点でNYUTronが勝っている。さらに、新しい患者さんについても調べており、AUCで７９％と十分な予測率を確認している。

以上が結果で、医師の判断と言うより、病院経営に重きが置かれている印象があるが、文字情報が人間の文明を支えてきたことを改めて感じる。

さらに、生成AIも、ChatGPTのような一般モデルだけが全てを席巻するのでなく、それぞれの組織でそれぞれの知識を学習させたAIが生まれるような予感がする。とすると、それぞれが相互作用することで、より高いレベルのAIが生まれるのではと期待する。