애플, 오픈소스 소형 모델 DCLM 공개…Mistral-7B 성능 능가

DCLM은 애플 머신러닝 연구팀이 워싱턴 대학교, 텔아비브 대학교, 도요타 리서치 인스티튜트와 협력해 오픈소스로 선보인 소형 언어 모델 시리즈입니다. 모델은 7B와 1.4B 두 가지 크기로 제공됩니다.

가중치만 제한적으로 배포하는 여타 기업들과 달리, DCLM은 진정한 오픈소스를 표방합니다. 모델 가중치와 학습 코드는 물론, 대규모 사전 학습 데이터셋인 DCLM-Baseline까지 Hugging Face에 통째로 공개했습니다.

고성능을 이끌어낸 핵심 기술

이 프로젝트의 핵심은 '모델 기반 필터링' 데이터 정제 기법입니다. 머신러닝 모델을 활용해 방대한 원시 데이터 속에서 최고 품질의 텍스트만 자동으로 골라내 학습 효율을 극대화했습니다.

정제된 DCLM-Baseline 데이터셋을 바탕으로, 7B 모델은 OpenLM 프레임워크 위에서 2.5조 개 토큰을 사용해 바닥부터 학습되었습니다. 기본 컨텍스트 길이는 2K입니다.

5-shot MMLU 벤치마크에서 DCLM-7B는 63.7%를 기록했습니다. 이는 기존 오픈 데이터 기반 최고 모델인 MAP-Neo보다 6.6%포인트 높은 수치이며, 학습 연산량은 오히려 40% 적게 소모했습니다.

이 기록은 대표적 오픈 모델인 Mistral-7B-v0.3의 62.7%를 앞지른 것이며, Google Gemma(64.3%)나 Llama 3 8B(66.2%)에도 바짝 다가선 수준입니다. 연구진은 데이터 분해 기법으로 1000억 토큰을 추가 학습시켜 컨텍스트 길이를 8K까지 늘리는 데도 성공했습니다.

작지만 강력한 1.4B 모델

도요타 리서치 인스티튜트와 공동 개발한 1.4B 모델 역시 2.6조 토큰으로 학습되어 동급 최고 수준의 역량을 보여줍니다.

5-shot MMLU 테스트에서 41.9%를 기록하며 Hugging Face의 SmolLM 1.7B(39.97%), Qwen-1.5B(37.87%), 마이크로소프트의 Phi-1.5(35.90%)를 모두 여유 있게 따돌렸습니다.

라이선스의 경우 1.4B 모델은 상업적 이용과 수정이 자유로운 Apache 2.0으로 배포되었고, 7B 모델은 애플 샘플 코드 라이선스가 적용됩니다. Hugging Face에서 기본 모델과 7B 지시 튜닝 버전을 모두 내려받을 수 있습니다.

다만 이 모델들은 데이터 선별의 효과를 입증하기 위한 초기 연구 결과물이며, 애플 기기에 탑재되는 완제품 기능은 아닙니다. 데이터셋 고유의 편향이나 유해 응답 가능성은 염두에 두어야 합니다.

왜 중요한가

자체 소형 모델을 구축하거나 데이터 파이프라인을 다루는 개발자에게 DCLM은 가뭄에 단비 같은 레퍼런스입니다. 기업들이 철저히 숨기던 사전 학습 데이터셋과 정제 노하우를 그대로 검증해 볼 수 있기 때문입니다.

단순히 연산 자원을 쏟아붓는 대신 데이터 품질을 고도화해 학습 비용을 40% 아낄 수 있음을 수치로 입증했다는 점에서 의미가 큽니다. 가성비 높은 고성능 로컬 모델을 실험해보고 싶다면 즉시 들여다볼 만한 가치가 있습니다.