EPFLとイェール大、MetaのLlama 3ベースの医療特化オープンモデル「Meditron」を公開

Meditron は、臨床の意思決定や診断を支援するために設計された医療特化型のオープンソース大規模言語モデルスイートだ。特に医療資源が不足している地域や人道支援の現場を想定して開発されている。最新モデルの Llama-3[8B]-MeditronV1.0 は、Meta による Llama 3 の発表からわずか 24 時間で微調を完了して公開された。

プロジェクトは商用化を選ばず、学習データ、モデルの重み、導入手順書、さらには Llama アーキテクチャに合わせて改修した Megatron-LM の分散学習コードまで完全にオープンソース化している。

できることと性能

MedQA や MedMCQA といった標準的な医学ベンチマークにおいて、Llama-3[8B]-MeditronV1.0 は同パラメータ規模のあらゆるオープンモデルを上回る精度を記録した。

それ以前に公開された Llama 2 ベースの初期モデル群も、リリース後数か月ですでに 3 万回以上ダウンロードされている。

テキストにとどまらずマルチモーダル対応も進めている。共同リーダーを務めるイェール大学の Mary-Anne Hartley 教授によると、医用画像読影を統合した 7B モデルは、562B のパラメータを持つ Medpalm M を超える結果を出したという。

仕組みと公開状況

開発はスイス連邦工科大学ローザンヌ校（EPFL）とイェール大学医学部が主導し、赤十字国際委員会（ICRC）などの人道組織と連携している。中立的で公平な検証を保つため、営利目的の展開は排除された。

一部のパラメータだけを調整する手法ではなく、全パラメータを更新する継続事前学習を採用した。高資源地域と低資源地域の双方を網羅したエビデンスに基づく医療ガイドラインを厳選して学習させている。

これにより、一般的なテキストコーパス由来のバイアスや汚染を防ぎ、正確な医療知識を定着させた。モデルの重みとデータはすべて公開されているほか、世界中の医師が難問を投げて回答精度を評価する検証イニシアチブ「MOOVE」も実施中だ。

なぜ重要か

医療リソースが限られた環境での遠隔診療やヘルスケア支援ツールを開発する人にとって、有力なベースモデルになる。8B というサイズは手頃なハードウェアでも動かしやすく、通信環境が不安定な現場でのローカル運用に適している。

単にベンチマークの数値を追うだけでなく、学習データや分散学習ツールまで公開して車輪の再発明を防ぎ、MOOVE を通じて臨床現場の声を取り込み続けている点が非常に堅実で賢いアプローチだ。