哈佛急診診斷研究:OpenAI o1 初步分診準確率 67%,超人類醫生
本週《Science》刊發哈佛研究,OpenAI o1 在 76 例急診初診中準確率達 67%,超過兩名內科醫生的 55% 和 50%。模型直接讀取未加工的病歷文本。研究者強調 AI 尚不能替代真實臨床決策,且對比物件並非急診專科醫生。

衝進急診室的病人命懸一線,醫生常常只有幾分鐘時間,在資訊極度匱乏的情況下做出關鍵判斷。
本週發表在《Science》雜誌上的一項哈佛醫學院新研究顯示,在 76 起真實的急診病例中,OpenAI 的 o1 模型表現不僅不輸人類,在初步分診環節的診斷準確率甚至超過了兩位資深主任醫師。
沒做任何預處理,直接硬剛電子病歷
這項研究由哈佛醫學院和貝斯以色列女修士醫學中心的團隊主導。研究人員選取了 76 位送進急診室的真實患者,把未經任何加工的原始電子病歷文本直接餵給 OpenAI 的 o1 和 GPT-4o 模型,並與兩位內科主任醫師的診斷做對比。
為了保證公平,負責打分的另外兩位主任醫師採用了雙盲機制,完全不知道哪條診斷出自人類、哪條出自 AI。
結果顯示,在資訊最少、時間最緊迫的急診初診階段,o1 給出完全正確或非常接近診斷的比例達到了 67.1%。相比之下,兩位人類醫生的準確率分別只有 55.3% 和 50.0%。在其中一個病例中,AI 甚至比主治醫生提前大約 12 到 24 小時察覺出一位器官移植患者感染了罕見的噬肉菌。
哈佛醫學院 AI 實驗室負責人 Arjun Manrai 表示,他們幾乎用盡了現有的基準測試,AI 不僅壓過了之前的舊模型,也超過了人類醫生的基準線。
急診醫生的反駁:比試的規則不對
雖然數字抓人,但一線急診醫生立刻澆了一盆冷水。
急診科醫生 Kristen Panthagani 公開指出,這項研究的對比本身就存在偏差:研究裡代表人類出戰的是「內科主任醫師」,而不是天天在急診一線摸爬滾打的急診專科醫生。她打了個比方,讓大模型在神經外科執業考試裡擊敗皮膚科醫生,這並不稀奇,但也沒有太大實際意義。
更核心的問題在於急診的工作邏輯。Kristen Panthagani 強調,急診醫生接診病人的首要目標不是猜出最終的疑難雜症,而是迅速排查眼前這個病症會不會在幾分鐘內要了患者的命。
此外,這項研究只測試了純文本病例輸入。論文作者也承認,目前的基準模型在處理非文本資料時推理能力依然有限。論文共同第一作者 Adam Rodman 也對英國《衛報》表示,目前行業內完全沒有關於 AI 診斷的法律問責框架,面對生死抉擇和艱難的治療方案,患者依然需要真實的人類來做主導。
為什麼重要
我們認為,這項研究真正的價值,不在於「AI 能不能取代急診醫生」,而在於它給臨床一線提供了一面極高水平的「第二意見反光鏡」。
對普通患者來說,它絕不意味著身體不舒服可以繞過醫院只問 ChatGPT。急診看病靠的是眼看、手摸、動態監測和排除致命風險,這些都是純文本模型觸碰不到的物理世界。但對值班醫生而言,這種推理模型完全可以成為一個不知疲倦的後臺哨兵,悄悄幫醫生補上那些罕見病或非典型症狀的盲區。
這項實驗聰明的地方,在於直接用未經清洗的真實電子病歷測試,沒有在實驗室環境裡搞溫室拔高;但隱患恰恰在於考核標準的錯配。用猜中確診疾病的機率來給急診能力打分,本身就更偏向擅長全域性資訊檢索的大模型,而忽略了急診中最關鍵的時間視窗與生命體徵挽救。
看起來,醫療 AI 的競爭焦點正在從單純的醫學考題刷分,轉向高壓力真實場景下的輔助決策。在建立起清晰的醫療事故問責制度和多模態體徵理解之前,AI 還坐不上急診室的主駕駛座,但它已經足夠有資格成為副駕駛席上那個關鍵時刻出聲提醒的副手。
來源 (1)
- techcrunch.com(在新分頁開啟)原文techcrunch.com