斯坦福微調 Stable Diffusion：用 AI 合成胸部 X 光片，解決醫學資料缺口

斯坦福 AIMI 團隊微調開源的 Stable Diffusion，讓這個原本用來畫畫的通用模型，變成了能按文字提示詞生成逼真胸部 X 光片的工具。

這套方案能幫你解決醫學影像資料短缺的難題，特別是樣本極少的罕見病場景。你只要輸入病症關鍵詞，比如胸腔積液，模型就能生成帶有對應解剖結構和病變特徵的肺部 X 光片。

它是怎麼做到的

研究人員沒有從頭訓練大模型，而是把 Stable Diffusion 的底層架構拆成三部分逐一驗證。

負責壓縮和還原影像的 VAE 表現超出預期，哪怕最初只學過日常自然影像，解壓還原醫學影像時依然能保持解剖結構，只有少量原始標註資訊被輕微打亂。

文本編碼器直接使用通用的 CLIP。測試表明，它不需要專門重訓，就能識別胸腔積液這類放射科術語，並把語義向量正確傳給去噪模組。

真正需要額外微調的是負責在潛空間去噪生成畫面的 U-Net。原生 U-Net 無法直接畫出醫學影像，研究團隊用公開資料集 CheXpert 和 MIMIC-CXR 各抽取的 1000 張正面片子，結合少量病變樣本進行微調後，它就能準確畫出肺部形態。

生成效果與後續升級

經過微調後，模型不僅能生成逼真的放射科影像，生成的病變在專業深度學習分類模型上達到了 95% 的分類準確率。

團隊隨後推出了進階版本 RoentGen，使用了數萬張胸部 X 光片和完整報告進行更大規模的訓練。RoentGen 支援更細粒度的控制，使用者可以用自然語言調整病灶的大小和左右方位。

不過當前方案也有明顯侷限。早期測試的文字提示詞較為簡化，合成影像的多樣性依然偏低。此外，Stable Diffusion 的開源協議明確禁止將生成結果直接用於醫療建議或診斷。

相關論文已於 10 月提交至 arXiv，後續模型及細節可以在 Stanford AIMI 團隊的公開研究成果中獲取。

為什麼重要

過去訓練專用醫學影像模型門檻極高，不僅需要昂貴的專有資料集，還要消耗巨大的算力。斯坦福這項研究證明，直接借用開源基礎模型做輕量級改造，價效比高得多。

我們認為，這給醫學領域的 AI 研究者指了一條明路：先用開源通模底座低成本驗證想法，再針對性補充領域資料。對於缺少罕見病資料的研究者來說，這種合成數據的路線非常值得嘗試，但切記它目前只能用於科研和教學，絕對不能跨過紅線直接參與臨床診斷。