今日は研究論文紹介ではなく、一種の意見の紹介になる。3月22日号のScienceに掲載された意見論文で、医療でAIを使うときAIの判断が撹乱される脆弱性をどう解決するのかについての議論についてだ。これを読んで、私が想像だにできなかった問題が機械学習に潜んでいることを知り、紹介することにした。タイトルは「Adversarial attacks on medical machine learning （医療での機械学習に対する敵対的攻撃）」だ。

これまでも何度も紹介してきたように、機械学習の医学領域への利用は加速している。特に画像診断が必要な放射線診断、病理学、皮膚科、眼科では、医療の質を上げることがはっきりと認識され、FDAも最初の機械学習システムの販売を認可することになっている。このように、今後は機械学習を前提として医療が再編成されるのは必至で、膨大になりすぎて人間の頭ではとうてい扱いきれなくなった医学医療データをわかりやすく整理して助けてくれる、医師の強い味方になるだろうと予測できる。とすると、当然医学教育も、今までの詰め込み教育ではあり得ない。しかしこのような問題はうれしい悲鳴で、実際にはGNPの10％を越す大きなお金が動く医療分野では、機械学習の弱点を攻めて不正が行われる可能性がある。

とくに受けた医療にかかった費用を保険会社に申請して払い戻しを受ける保険システムのアメリカでは、払った費用が保険で支払うべきものかどうか、保険会社で膨大な努力と時間を使って判断しており、ここに機械学習導入が最も期待されていることから、機械学習が信頼できなくなると大混乱に陥ることになる。

この意見論文では、AIを撹乱する方法をいくつかの例で示している。

現在最も期待されている皮膚病変を診断する機械学習システムが、adversarial noiseと呼ばれる、目では認識できないノイズを写真にかぶせられると、かぶせない時には良性腫瘍と正確に診断していたのに、100％悪性腫瘍と診断する判断ミスを犯すことを実例として示している。

同じようなノイズは、場合によっては写真の向きを変えるだけでも入れることができ、ミスを誘発することができる。もし、医師のレベルでこれが行われると、まず見破れず、虚偽の保険請求を許すことになる。

また、言語による記述から診断する機械学習が使われようとしているが、この時症状の記述方法を変えると撹乱される場合がある。現在アメリカは麻薬の使用が強く制限されており、医師の処方を判断する機械学習が開発されているが、「back pain（背中痛）」と「Alcohl abuse（アルコール飲みすぎ）」と記載すると麻薬使用が拒否されるが、「Lumbago（腰痛）」と「alcohl dependency（アルコール依存症）」と書くことで、麻薬の使用が許可される。

さらに症状をコード化してインプットするAIでも同じような問題がある。保険の支払いの際適切な診療が行われたのかを判断するための症状は、現在コード化され、その組み合わせで判断されるというのがAIの得意なところだが、メタボリックシンドロームに対応するコードがインプットされる場合支払いが拒否されるのに、良性本態性高血圧、高コレステロール血症、高血糖と3つのコードをインプットすることで、病気として支払いが許可される。

そして、現在すでにこのようなインプットを操作して、実際に行われた医療より高額な支払いを受けることが行われている。これを防ぐため、例えば実際の画像を用いて判断するシステムも開発されているが、すでに述べた理由で結果は同じになることは明らかだ。

これに対する対策の可能性も書いてあるが、確実な方法はない。一つは、支払い側の目線、すなわちトップダウンに機械学習を設計する方法ではなく、ユーザー目線で設計することが必要だと示唆している。そして、何よりも便利だからと急速な導入を図ると、気がついたらグラウンドゼロなみの崩壊が待っていると結論している。

もともと機械学習は100％の正確さを求めるものではない。とすると、いくらでも穴を見つけてアタックして儲けようとする人間は出てくる可能性が高いことをこの意見論文は教えている。機械学習というと、患者と医師の間で、正しい判断が容易にできるようにするツールと思ってしまうが、このように治りたい、治したいという同じ方向を目指す関係だけなら、不正をする理由は全くない。しかし、そこにお金が絡むと、全く事情が変わることがよくわかった。

翻ってわが国を考えると、現在支払い基金が人海戦術で行なっているレセプトの処理のAI化は、厚生労働省も最優先課題として進めていると思う。わが国の場合、支払い要求が医療機関であるため、もしグレーゾーンがあることがわかれば当然AIの裏をかこうとする動機が生まれることは間違いない。レセプトのAI化は至極当然のプロジェクトで、考えない方がおかしいのだが、どれだけ完成間近でも、一回立ち止まってぜひこの論文で示されたような穴がないことは明確にした上で導入してほしいと思う。