ChatGPTが病気診断で医師を圧倒：単独スコア90％も、医師はAIの助言を無視

医師に最新のAIツールを渡せば、診断の精度は劇的に上がるはずだ。多くの人がそう信じていたはずの仮説が、思わぬ形で覆されました。

OpenAIのChatGPTを活用して医師の診断能力がどれほど向上するかを検証した小規模な研究で、医療現場にとって少々居心地の悪い結果が明らかになりました。なんと、医師よりもAI単体のほうがはるかに高い正答率を叩き出したのです。

開席テストでもわずか2ポイントの上昇

この研究に参加したのは、指導医26名と研修医24名の計50名の医師たちです。

全員に同じ6つの症例データが配られ、その診断を行うという課題が課されました。医師の一部は自力のみで診断を行い、別のグループにはChatGPTの利用が許可されました。また、比較対象としてChatGPT自身にも同じ症例を解かせました。

結果は残酷なものでした。AIを使わずに挑んだ医師グループの平均スコアは74%でした。

ChatGPTの補助を受けた医師グループの平均スコアは76%にとどまり、自力組とほとんど差がありませんでした。

一方で、人間の介入なしにChatGPT単体が出した診断の平均スコアは90%に達し、医師グループを16ポイントも上回る結果となりました。

「AIの意見を聞かない」という最大の壁

この研究の設計に携わったロッドマン医師は、ニューヨーク・タイムズの取材に対し、二重のショックを受けたと語っています。

AIが医師の助けにほとんどならなかったことに驚き、さらにAI単体が医師全員を打ち負かしたことにも大きな衝撃を受けたといいます。

なぜ優秀なAIツールを手渡された医師たちのスコアが伸び悩んだのか。

ロッドマン氏が指摘したのは、医師たちのプライドと先入観です。AIが自分の見立てと異なる指摘をした際、医師の多くは「AIの意見に耳を貸さなかった」といいます。長年現場で培ってきた経験がある分、チャットボットが自分より正しいはずがないと判断してしまったのです。

さらに、多くの医師が大規模言語モデルの能力を十分に引き出すための対話方法やプロンプトの扱い方を理解していなかったという運用上の課題も浮き彫りになりました。

なぜ重要か

この実験結果は、医療業界における「人間とAIの協調」という理想論が抱える最大の急所を突いています。

私たちが考えるに、AI診断の最大のボトルネックはもはやモデル自体の知能ではなく、現場の人間の認知バイアスと業務フローへの不適合です。どんなに高精度な知能を与えても、利用者がAIを信頼せず、かつ使いこなすスキルを持っていなければ、現場のパフォーマンスは1ミリも変わりません。

患者や一般ユーザーにとっても示唆に富む内容です。ChatGPTのようなフロンティアモデルが、病歴の整理や鑑別診断においてベテラン医師すら凌駕する水準にあることは証明されました。しかし、だからといって生身の医師を完全にスキップできるわけではありません。

今後、医療AIを開発する企業が問われるのは、単にベンチマークスコアを競うことではなく、医師が納得できる説明ロジックの提示や、プライドを刺激せずに見落としを気付かせるインターフェースの設計です。人間側のリテラシー教育と協調プロトコルの再構築が追いつかない限り、技術の真価は発揮されないと見ています。