跳到正文
IFAI

AI科研

ChatGPT 诊断比医生准 16%:独立拿 90 分,但医生不听它的

首次发布 传播指数 34

据 Quartz 报道的一项研究显示,ChatGPT 在病历诊断中拿下 90% 的平均分,大幅领先人类医生的 74%。更戏剧化的是,配合 AI 的医生得分仅微升至 76%,主因是多数医生不听 AI 与自己相悖的判断,且不会有效使用它。

原本以为给医生配个 AI 助手能如虎添翼,结果卷子改出来,场面一度非常尴尬。

一项针对医生诊断能力的小型研究最近公布了结果。原本研究人员想看看 ChatGPT 能不能帮医生看得更准,没想到最后得分最高的既不是老练的主治医生,也不是带着 AI 辅助的实验组,而是 ChatGPT 自己独立交的卷子。

给你开卷考,也就只涨了两分

这项测试一共找来了 50 名医生,阵容其实不弱,里面有 26 位主治医生和 24 位住院医生。

研究人员给他们出了一模一样的考题:分析 6 份不同患者的真实病例并给出诊断意见。

医生们被分成两拨,一拨纯靠个人医学积累硬扛,另一拨则允许使用 OpenAI 的 ChatGPT 来辅助判断。同时,研究人员也把这 6 份病历原封不动喂给 ChatGPT,让它自己单练。

分数出来后非常残酷。没用 AI 的医生组,平均得分是 74%。

允许使用 ChatGPT 的那一组医生,平均得分也仅仅到了 76%,几乎可以说没帮上什么大忙。

最让人意外的是,完全没有人类插手、由 ChatGPT 自己做出的诊断,平均分竟然高达 90%,把人类医生甩开了整整 16 个百分点。

输就输在「我不听」和「不会用」

参与设计这项研究的 Rodman 医生在接受《纽约时报》采访时承认,自己当时整个人都被震惊到了。

他原本预估聊天机器人能给临床医生带来巨大的帮助,但事实证明辅助效果微乎其微,而纯 AI 的表现又远超预期。

为什么医生手里拿着 90 分的外挂,自己却只考了 76 分?

Rodman 点出了一个非常扎心的原因:很多医生根本不听 AI 的。

当 ChatGPT 给出的诊断方向跟医生本人的第一直觉不一致时,医生们往往选择直接忽略。大家心里默认自己接受了多年严苛的医学训练,很难被一个聊天机器人说服。

另一个现实问题是提问技巧。研究发现,不少医生根本不知道怎么向大模型清晰、有效地提问,白白浪费了模型的推理能力。

研究作者在报告里直言,纯 AI 的表现已经超越了两个医生组,这说明临床上要想实现「人机协作」,缺的不仅是更聪明的算法,更是对医生使用 AI 的针对性培训。

为什么重要

这项研究戳破了一个行业里长期的乌托邦想象,也就是只要把大模型塞给专业人士,生产力就会自然翻倍。

我们认为,AI 医疗现在最大的阻碍看起来不再是模型的智力不够,而是人类专家的固有偏见与协同机制的缺失。当工具的能力已经高过普通从业者,但从业者却因为权威包袱选择性无视时,再高的模型基准分在临床上都是空的。

对普通患者和用户来说,这个结果很微妙。它证明现阶段的前沿模型确实具备极强的医学信息整理与鉴别诊断能力,用来做初步自查或准备就诊问题已经完全合格。但这不意味着患者可以直接脱离医生,毕竟真实看病需要体查、化验和承担法律责任。

对医疗软件开发者而言,单纯做一个套壳的对话框给医生用显然行不通。聪明的做法应该是把 AI 深度嵌入病历系统,用可解释、摆证据的方式去启发医生,而不是简单粗暴地甩出一个诊断结论来挑战医生的自尊心。如何让专家愿意放下身段去倾听 AI 的反直觉推论,将是下一阶段临床落地的真正难点。

来源 (1)

  1. [1]
    qz.com(在新标签页打开)原文qz.com

每日 AI 内容精选