微软评估 GPT-4 放射学能力:生成的报告摘要,有时比医生写的更好
微软研究院与 Nuance 公布关于 GPT-4 在放射学应用的研究。测试显示,GPT-4 在疾病分类和报告摘要等任务上超越现有模型,生成的摘要在部分情况下甚至比资深医生写的更受欢迎,还能将非结构化影像报告自动结构化。不过研究团队强调,临床落地仍需人工严格把关。

大家聊起 AI 看病,脑子里通常浮现的是算法盯着 X 光片找肿瘤。但在医院里,放射科医生很大一部分时间其实不是在看片子,而是在电脑前敲报告。
微软研究院在自然语言处理顶会 EMNLP 2023 上公布了一项新研究,题目叫《探索 GPT-4 在放射学中的边界》。他们拉上了旗下的 Nuance 团队,后者的报告软件 PowerScribe 覆盖了全美 80% 以上的放射科医生。
双方找来有执业认证的放射科医生一起搭了一套评测体系,专门测试 GPT-4 到底能不能帮医生处理放射报告。
读报告和写总结,表现超过老模型
这次测试没有停留在普通的跑分上,而是针对放射科日常的实际语言任务,比如疾病分类和检查结果总结。
研究团队测试了零样本、少样本以及思维链等提示词策略,拿 GPT-4 和以前的 GPT-3.5 以及各任务现有的最优专用模型对比。
在部分任务上,GPT-4 直接刷新了纪录,比现有的最佳模型绝对指标提升了大约 10 个百分点。
更让人意外的是报告总结任务。研究发现,GPT-4 生成的放射报告总结,质量已经媲美经验丰富的放射科医生;在部分对比案例中,评测人员甚至更倾向于 GPT-4 写出的版本。
除了写总结,GPT-4 还能把非结构化的复杂报告梳理成规范格式。平常医生的记录习惯各不相同,报告又长又杂,其他科室调阅或者做临床科研都很头疼。整理成统一结构后,既方便检索,也能直接作为真实世界数据补充到临床研究中。
研究还提到了另一个方向:让大模型把晦涩难懂的医学黑话,转译成普通患者和家属看得懂、有同理心的语言,减少医患沟通的摩擦。
不过团队也明确指出,这项技术目前必须在人工监督下使用,后续还需要大量严谨的研究和临床试验来验证准确性与可靠性,相关工作属于微软的 Project MAIRA 项目。
为什么重要
我们认为,这项研究最聪明的地方在于切入点。医疗 AI 过去几年死磕图像识别,不仅审批门槛极高,还经常陷入误诊定责的泥潭。微软这次转向放射科医生的文书重负,从打杂性质的文本整理做起,阻力明显小得多。
对放射科医生来说,Nuance 的软件本来就垄断了全美大部分工作台,未来如果把 GPT-4 的总结和结构化能力直接内嵌进去,医生不需要改变任何工作流,就能省去大量码字时间。
不过隐患同样不容忽视。哪怕只有极低概率的幻觉,一旦出现在病历总结里漏掉了关键病灶,后果都很难挽回。目前大模型写出来的总结虽然读起来通顺,但在未经大规模前瞻性临床试验验证前,没有任何医生敢彻底放手让它代劳。现阶段它更像是一个高质量的草稿生成器,最终签字把关的责任依然全在医生肩上。
来源 (1)
- microsoft.com(在新标签页打开)原文microsoft.com