耶鲁与 EPFL 开源 Meditron：专为低资源医疗场景定制的 Llama 3 模型

Meditron 是一个专为医疗领域打造的开源大语言模型套件，用来辅助临床决策和诊断，特别照顾到了医疗资源匮乏的欠发达地区和人道主义应急场景。最新的 Llama-3[8B]-MeditronV1.0 模型，是团队在 Meta 发布 Llama 3 后的 24 小时内微调完成的。

项目没有走商业化路线，而是把数据、权重、使用文档全部开源，连适配了 Llama 架构的高性能分布式训练工具 Megatron-LM 也一并公开。

它能做什么与实际表现

在 MedQA 和 MedMCQA 等标准医学考试基准测试中，Llama-3[8B]-MeditronV1.0 的表现超过了同参数级别内所有顶尖的开源模型。

在此之前，基于 Llama 2 的初代 Meditron 在发布后几个月内就获得了超过 3 万次下载。

除了文本问答，团队还探索过多模态能力。项目联合负责人、耶鲁大学教授 Mary-Anne Hartley 提到，他们基于 7B 打造的多模态版本支持医学图像解释，在图像解释效果上甚至超过了 562B 参数的 Medpalm M。

怎么做到的与去哪里用

该项目由瑞士洛桑联邦理工学院（EPFL）计算机与通信科学学院和耶鲁医学院联合主导，并与红十字国际委员会等组织紧密合作。为了保证临床验证的中立性，团队明确放弃了商业化。

在训练机制上，团队没有只做表面上的微调，而是采用更新全部参数的持续预训练。他们精心筛选了大量经过医学验证的高质量文本，覆盖了高资源和低资源地区的循证医疗指南。

持续预训练不仅锁住了医学知识，也最大限度减少了通用语料带来的偏见和污染。此外，针对多节点多 GPU 集群训练的门槛，他们改造并开源了 Megatron-LM 工具。

目前权重和数据均已完全开放。为了检验实际效果，团队还发起了 MOOVE 开放验证计划，邀请全球各地的医生直接向模型提问并进行评估。

为什么重要

对从事欠发达地区医疗信息化、人道主义救援或基层健康应用的开发者来说，Meditron 值得立刻关注。8B 的参数体量让本地部署成为可能，能在网络不稳定或缺乏高性能算力的地方充当全科初级助手。

我们认为，这个项目最聪明的地方在于开放的彻底性。它不光开源了权重，还放出了经过医学清洗的数据集配方和训练底座，让资源有限的团队不用从零造轮子；拉来一线医生做真实场景评测，也避开了只刷基准跑分的自嗨陷阱。