예일대·EPFL, 저자원 의료 환경을 위한 메타 라마 3 기반 오픈소스 모델 '메디트론' 공개

메디트론(Meditron)은 임상 의사결정과 진단을 돕기 위해 개발된 의료 특화 오픈소스 대형 언어 모델 스위트다. 의료 자원이 부족한 지역과 인도주의 지원 현장에서 쓰이도록 설계됐다. 최신 모델인 Llama-3[8B]-MeditronV1.0은 메타가 라마 3을 공개한 지 불과 24시간 만에 미세조정을 마쳤다.

연구진은 상업화를 거치지 않고, 데이터와 모델 가중치, 시작 문서뿐 아니라 라마 구조를 지원하도록 수정한 분산 훈련 도구 Megatron-LM까지 전부 오픈소스로 내놓았다.

성능과 주요 기능

Llama-3[8B]-MeditronV1.0은 MedQA와 MedMCQA 등 주요 의학 시험 벤치마크에서 동급 파라미터 내의 모든 기존 오픈 모델 성능을 앞섰다.

이에 앞서 공개된 라마 2 기반 초기 모델들은 출시 첫 몇 달 만에 3만 건 이상의 다운로드를 기록했다.

텍스트 상담 외에 멀티모달 영역도 갖췄다. 프로젝트 공동 책임자인 예일대 메리앤 하틀리(Mary-Anne Hartley) 교수에 따르면, 의료 영상 해석을 지원하는 7B 멀티모달 모델은 562B 파라미터 크기인 Medpalm M보다 더 우수한 성능을 나타냈다.

어떻게 만들었고 어디서 쓰나

스위스 로잔연방공과대(EPFL) 컴퓨터·통신과학대학과 예일대 의대 연구진이 이끌었으며, 국제적십자위원회(ICRC) 등 인도주의 단체들과 긴밀히 손을 잡았다. 공정하고 객관적인 검증을 유지하기 위해 상업화는 배제했다.

단순 미세조정이 아니라 전체 파라미터를 업데이트하는 지속 사전학습 방식을 택했다. 자원이 풍부한 환경과 부족한 환경 모두의 근거 기반 가이드라인을 엄선해 학습시켰다.

이를 통해 일반 텍스트 데이터셋에서 오는 편향을 최소화하고 의료 지식의 보존도를 극대화했다. 데이터와 가중치는 모두 공개되어 있으며, 연구진은 전 세계 의사들이 까다로운 질문을 던지고 성능을 점검하는 MOOVE 검증 프로젝트도 병행하고 있다.

왜 중요한가

저자원 지역을 위한 헬스케어 소프트웨어나 인도주의 의료 솔루션을 만드는 개발자라면 지금 당장 확인해볼 가치가 있다. 8B 파라미터 크기라 고가의 대규모 서버 없이도 로컬 환경에서 구동할 수 있다.

우리는 연구진이 가중치뿐 아니라 정제 데이터셋과 분산 훈련 코드까지 투명하게 공개한 점을 높이 평가한다. 다른 연구팀이 바퀴를 다시 발명하지 않도록 도왔으며, MOOVE를 통해 벤치마크 점수 경쟁에 매몰되지 않고 실제 임상 환경에 모델을 맞추고 있다.