跳到正文
IFAI

AI科研

微軟評估 GPT-4 放射學能力:生成的報告摘要,有時比醫生寫的更好

首次發布 傳播指數 31

微軟研究院與 Nuance 公佈關於 GPT-4 在放射學應用的研究。測試顯示,GPT-4 在疾病分類和報告摘要等任務上超越現有模型,生成的摘要在部分情況下甚至比資深醫生寫的更受歡迎,還能將非結構化影像報告自動結構化。不過研究團隊強調,臨床落地仍需人工嚴格把關。

微軟評估 GPT-4 放射學能力:生成的報告摘要,有時比醫生寫的更好
圖:microsoft.com

大家聊起 AI 看病,腦子裡通常浮現的是演算法盯著 X 光片找腫瘤。但在醫院裡,放射科醫生很大一部分時間其實不是在看片子,而是在電腦前敲報告。

微軟研究院在自然語言處理頂會 EMNLP 2023 上公佈了一項新研究,題目叫《探索 GPT-4 在放射學中的邊界》。他們拉上了旗下的 Nuance 團隊,後者的報告軟體 PowerScribe 覆蓋了全美 80% 以上的放射科醫生。

雙方找來有執業認證的放射科醫生一起搭了一套評測體系,專門測試 GPT-4 到底能不能幫醫生處理放射報告。

讀報告和寫總結,表現超過老模型

這次測試沒有停留在普通的跑分上,而是針對放射科日常的實際語言任務,比如疾病分類和檢查結果總結。

研究團隊測試了零樣本、少樣本以及思維鏈等提示詞策略,拿 GPT-4 和以前的 GPT-3.5 以及各任務現有的最優專用模型對比。

在部分任務上,GPT-4 直接重新整理了紀錄,比現有的最佳模型絕對指標提升了大約 10 個百分點。

更讓人意外的是報告總結任務。研究發現,GPT-4 生成的放射報告總結,質量已經媲美經驗豐富的放射科醫生;在部分對比案例中,評測人員甚至更傾向於 GPT-4 寫出的版本。

除了寫總結,GPT-4 還能把非結構化的複雜報告梳理成規範格式。平常醫生的記錄習慣各不相同,報告又長又雜,其他科室調閱或者做臨床科研都很頭疼。整理成統一結構後,既方便檢索,也能直接作為真實世界資料補充到臨床研究中。

研究還提到了另一個方向:讓大模型把晦澀難懂的醫學黑話,轉譯成普通患者和家屬看得懂、有同理心的語言,減少醫患溝通的摩擦。

不過團隊也明確指出,這項技術目前必須在人工監督下使用,後續還需要大量嚴謹的研究和臨床試驗來驗證準確性與可靠性,相關工作屬於微軟的 Project MAIRA 專案。

為什麼重要

我們認為,這項研究最聰明的地方在於切入點。醫療 AI 過去幾年死磕影像識別,不僅審批門檻極高,還經常陷入誤診定責的泥潭。微軟這次轉向放射科醫生的文書重負,從打雜性質的文本整理做起,阻力明顯小得多。

對放射科醫生來說,Nuance 的軟體本來就壟斷了全美大部分工作臺,未來如果把 GPT-4 的總結和結構化能力直接內嵌進去,醫生不需要改變任何工作流,就能省去大量碼字時間。

不過隱患同樣不容忽視。哪怕只有極低機率的幻覺,一旦出現在病歷總結裡漏掉了關鍵病灶,後果都很難挽回。目前大模型寫出來的總結雖然讀起來通順,但在未經大規模前瞻性臨床試驗驗證前,沒有任何醫生敢徹底放手讓它代勞。現階段它更像是一個高質量的草稿生成器,最終簽字把關的責任依然全在醫生肩上。

來源 (1)

  1. [1]
    microsoft.com(在新分頁開啟)原文microsoft.com

每日 AI 內容精選