耶魯與 EPFL 開源 Meditron：專為低資源醫療場景定製的 Llama 3 模型

Meditron 是一個專為醫療領域打造的開源大語言模型套件，用來輔助臨床決策和診斷，特別照顧到了醫療資源匱乏的欠發達地區和人道主義應急場景。最新的 Llama-3[8B]-MeditronV1.0 模型，是團隊在 Meta 釋出 Llama 3 後的 24 小時內微調完成的。

專案沒有走商業化路線，而是把資料、權重、使用文件全部開源，連適配了 Llama 架構的高效能分散式訓練工具 Megatron-LM 也一併公開。

它能做什麼與實際表現

在 MedQA 和 MedMCQA 等標準醫學考試基準測試中，Llama-3[8B]-MeditronV1.0 的表現超過了同參數級別內所有頂尖的開源模型。

在此之前，基於 Llama 2 的初代 Meditron 在釋出後幾個月內就獲得了超過 3 萬次下載。

除了文本問答，團隊還探索過多模態能力。專案聯合負責人、耶魯大學教授 Mary-Anne Hartley 提到，他們基於 7B 打造的多模態版本支援醫學影像解釋，在影像解釋效果上甚至超過了 562B 引數的 Medpalm M。

怎麼做到的與去哪裡用

該專案由瑞士洛桑聯邦理工學院（EPFL）計算機與通訊科學學院和耶魯醫學院聯合主導，並與紅十字國際委員會等組織緊密合作。為了保證臨床驗證的中立性，團隊明確放棄了商業化。

在訓練機制上，團隊沒有隻做表面上的微調，而是採用更新全部引數的持續預訓練。他們精心篩選了大量經過醫學驗證的高質量文本，覆蓋了高資源和低資源地區的循證醫療指南。

持續預訓練不僅鎖住了醫學知識，也最大限度減少了通用語料帶來的偏見和汙染。此外，針對多節點多 GPU 叢集訓練的門檻，他們改造並開源了 Megatron-LM 工具。

目前權重和資料均已完全開放。為了檢驗實際效果，團隊還發起了 MOOVE 開放驗證計劃，邀請全球各地的醫生直接向模型提問並進行評估。

為什麼重要

對從事欠發達地區醫療資訊化、人道主義救援或基層健康應用的開發者來說，Meditron 值得立刻關注。8B 的引數體量讓本地部署成為可能，能在網路不穩定或缺乏高效能算力的地方充當全科初級助手。

我們認為，這個專案最聰明的地方在於開放的徹底性。它不光開源了權重，還放出了經過醫學清洗的資料集配方和訓練底座，讓資源有限的團隊不用從零造輪子；拉來一線醫生做真實場景評測，也避開了只刷基準跑分的自嗨陷阱。