斯坦福微调 Stable Diffusion：用 AI 合成胸部 X 光片，解决医学数据缺口

斯坦福 AIMI 团队微调开源的 Stable Diffusion，让这个原本用来画画的通用模型，变成了能按文字提示词生成逼真胸部 X 光片的工具。

这套方案能帮你解决医学影像数据短缺的难题，特别是样本极少的罕见病场景。你只要输入病症关键词，比如胸腔积液，模型就能生成带有对应解剖结构和病变特征的肺部 X 光片。

它是怎么做到的

研究人员没有从头训练大模型，而是把 Stable Diffusion 的底层架构拆成三部分逐一验证。

负责压缩和还原图像的 VAE 表现超出预期，哪怕最初只学过日常自然图像，解压还原医学影像时依然能保持解剖结构，只有少量原始标注信息被轻微打乱。

文本编码器直接使用通用的 CLIP。测试表明，它不需要专门重训，就能识别胸腔积液这类放射科术语，并把语义向量正确传给去噪模块。

真正需要额外微调的是负责在潜空间去噪生成画面的 U-Net。原生 U-Net 无法直接画出医学影像，研究团队用公开数据集 CheXpert 和 MIMIC-CXR 各抽取的 1000 张正面片子，结合少量病变样本进行微调后，它就能准确画出肺部形态。

生成效果与后续升级

经过微调后，模型不仅能生成逼真的放射科图像，生成的病变在专业深度学习分类模型上达到了 95% 的分类准确率。

团队随后推出了进阶版本 RoentGen，使用了数万张胸部 X 光片和完整报告进行更大规模的训练。RoentGen 支持更细粒度的控制，用户可以用自然语言调整病灶的大小和左右方位。

不过当前方案也有明显局限。早期测试的文字提示词较为简化，合成图像的多样性依然偏低。此外，Stable Diffusion 的开源协议明确禁止将生成结果直接用于医疗建议或诊断。

相关论文已于 10 月提交至 arXiv，后续模型及细节可以在 Stanford AIMI 团队的公开研究成果中获取。

为什么重要

过去训练专用医学影像模型门槛极高，不仅需要昂贵的专有数据集，还要消耗巨大的算力。斯坦福这项研究证明，直接借用开源基础模型做轻量级改造，性价比高得多。

我们认为，这给医学领域的 AI 研究者指了一条明路：先用开源通模底座低成本验证想法，再针对性补充领域数据。对于缺少罕见病数据的研究者来说，这种合成数据的路线非常值得尝试，但切记它目前只能用于科研和教学，绝对不能跨过红线直接参与临床诊断。