Apple 開源小模型 DCLM：權重與訓練資料全公開，7B 跑分超 Mistral

DCLM 是 Apple 機器學習團隊聯合華盛頓大學、特拉維夫大學以及豐田研究院共同開源的小語言模型系列，包含 7B 和 1.4B 兩個尺寸。它的核心目標是證明一件事：靠高質量的資料篩選，開源模型用更少的算力也能打平甚至反超頂級閉源資料模型。

與很多隻公開權重的「偽開源」不同，DCLM 實現了徹底開源。團隊不僅在 Hugging Face 上放出了模型權重，還一併公開了完整的訓練程式碼以及高達數十億規模的預訓練資料集 DCLM-Baseline。

它是怎麼做到的

這項研究的核心在於資料清洗。團隊採用了一種叫基於模型過濾（model-based filtering）的方法，讓機器學習模型自動在大規模資料池中挑出最優質的內容，而不是單純堆砌資料量。

憑藉篩選出的 DCLM-Baseline 資料集，7B 版本模型在 2.5 萬億 token 上從頭完成訓練。它基於 OpenLM 框架打造，原生支援 2K 上下文視窗。

在 5-shot MMLU 基準測試中，DCLM-7B 拿到了 63.7% 的分數。這一成績比此前開源資料集的標杆 MAP-Neo 提升了 6.6 個百分點，同時節省了 40% 的訓練算力。

這個分數不僅超越了同尺寸知名開源模型 Mistral-7B-v0.3 的 62.7%，也已經非常接近 Google Gemma 的 64.3% 和 Meta Llama 3 8B 的 66.2%。隨後研究人員通過資料解構技術額外追加了 1000 億 token 訓練，將上下文擴充套件到 8K，綜合任務表現進一步增強。

1.4B 版本同樣能打

除了 7B 版本，團隊與豐田研究院聯合打造的 1.4B 極小模型表現同樣亮眼。該版本在 2.6 萬億 token 上訓練完成。

在 5-shot MMLU 測試中，DCLM-1.4B 斬獲 41.9% 的成績。它不僅超過了 Hugging Face 近期推出的 SmolLM 1.7B（39.97%），還將 Qwen-1.5B 的 37.87% 以及微軟 Phi-1.5 的 35.90% 甩在身後。

目前這兩個模型以及 7B 的指令微調版均已上線 Hugging Face。需要留意的是開源協議有細微差異：1.4B 版本採用寬鬆的 Apache 2.0 協議，允許商用、修改與再分發；而 7B 版本使用的是蘋果樣本程式碼許可證。

同時團隊也明確提醒，這屬於驗證資料清洗有效性的早期學術成果，不是給蘋果裝置打造的端側功能，模型仍可能帶有訓練資料裡的固有偏見或生成不良回覆。

為什麼重要

如果你是從事模型預訓練或資料工程的開發者，DCLM 是目前市面上不可多得的高分參考樣本。它把訓練配方、清洗流程、原始資料和權重毫無保留地攤開，大家終於不用再對著各大機構語焉不詳的「私有資料配比」猜謎了。

我們認為這項成果最具啟發性的地方在於，它打破了必須靠海量算力硬砸才能出奇跡的慣性思維。Apple 團隊證明了在 7B 這種甜點尺寸上，把資料洗乾淨能帶來遠超預期的收益。只要你有自建基準模型的需求，這套開源方案都值得立即拿來跑跑看。