跳到正文
IFAI

AI科研

ChatGPT 診斷比醫生準 16%:獨立拿 90 分,但醫生不聽它的

首次發布 傳播指數 34

據 Quartz 報道的一項研究顯示,ChatGPT 在病歷診斷中拿下 90% 的平均分,大幅領先人類醫生的 74%。更戲劇化的是,配合 AI 的醫生得分僅微升至 76%,主因是多數醫生不聽 AI 與自己相悖的判斷,且不會有效使用它。

原本以為給醫生配個 AI 助手能如虎添翼,結果卷子改出來,場面一度非常尷尬。

一項針對醫生診斷能力的小型研究最近公佈了結果。原本研究人員想看看 ChatGPT 能不能幫醫生看得更準,沒想到最後得分最高的既不是老練的主治醫生,也不是帶著 AI 輔助的實驗組,而是 ChatGPT 自己獨立交的卷子。

給你開卷考,也就只漲了兩分

這項測試一共找來了 50 名醫生,陣容其實不弱,裡面有 26 位主治醫生和 24 位住院醫生。

研究人員給他們出了一模一樣的考題:分析 6 份不同患者的真實病例並給出診斷意見。

醫生們被分成兩撥,一撥純靠個人醫學積累硬扛,另一撥則允許使用 OpenAI 的 ChatGPT 來輔助判斷。同時,研究人員也把這 6 份病歷原封不動餵給 ChatGPT,讓它自己單練。

分數出來後非常殘酷。沒用 AI 的醫生組,平均得分是 74%。

允許使用 ChatGPT 的那一組醫生,平均得分也僅僅到了 76%,幾乎可以說沒幫上什麼大忙。

最讓人意外的是,完全沒有人類插手、由 ChatGPT 自己做出的診斷,平均分竟然高達 90%,把人類醫生甩開了整整 16 個百分點。

輸就輸在「我不聽」和「不會用」

參與設計這項研究的 Rodman 醫生在接受《紐約時報》採訪時承認,自己當時整個人都被震驚到了。

他原本預估聊天機器人能給臨床醫生帶來巨大的幫助,但事實證明輔助效果微乎其微,而純 AI 的表現又遠超預期。

為什麼醫生手裡拿著 90 分的外掛,自己卻只考了 76 分?

Rodman 點出了一個非常扎心的原因:很多醫生根本不聽 AI 的。

當 ChatGPT 給出的診斷方向跟醫生本人的第一直覺不一致時,醫生們往往選擇直接忽略。大家心裡預設自己接受了多年嚴苛的醫學訓練,很難被一個聊天機器人說服。

另一個現實問題是提問技巧。研究發現,不少醫生根本不知道怎麼向大模型清晰、有效地提問,白白浪費了模型的推理能力。

研究作者在報告裡直言,純 AI 的表現已經超越了兩個醫生組,這說明臨床上要想實現「人機協作」,缺的不僅是更聰明的演算法,更是對醫生使用 AI 的針對性培訓。

為什麼重要

這項研究戳破了一個行業里長期的烏托邦想像,也就是隻要把大模型塞給專業人士,生產力就會自然翻倍。

我們認為,AI 醫療現在最大的阻礙看起來不再是模型的智力不夠,而是人類專家的固有偏見與協同機制的缺失。當工具的能力已經高過普通從業者,但從業者卻因為權威包袱選擇性無視時,再高的模型基準分在臨床上都是空的。

對普通患者和使用者來說,這個結果很微妙。它證明現階段的前沿模型確實具備極強的醫學資訊整理與鑑別診斷能力,用來做初步自查或準備就診問題已經完全合格。但這不意味著患者可以直接脫離醫生,畢竟真實看病需要體查、化驗和承擔法律責任。

對醫療軟體開發者而言,單純做一個套殼的對話方塊給醫生用顯然行不通。聰明的做法應該是把 AI 深度嵌入病歷系統,用可解釋、擺證據的方式去啟發醫生,而不是簡單粗暴地甩出一個診斷結論來挑戰醫生的自尊心。如何讓專家願意放下身段去傾聽 AI 的反直覺推論,將是下一階段臨床落地的真正難點。

來源 (1)

  1. [1]
    qz.com(在新分頁開啟)原文qz.com

每日 AI 內容精選