Apple 开源小模型 DCLM：权重与训练数据全公开，7B 跑分超 Mistral

DCLM 是 Apple 机器学习团队联合华盛顿大学、特拉维夫大学以及丰田研究院共同开源的小语言模型系列，包含 7B 和 1.4B 两个尺寸。它的核心目标是证明一件事：靠高质量的数据筛选，开源模型用更少的算力也能打平甚至反超顶级闭源数据模型。

与很多只公开权重的「伪开源」不同，DCLM 实现了彻底开源。团队不仅在 Hugging Face 上放出了模型权重，还一并公开了完整的训练代码以及高达数十亿规模的预训练数据集 DCLM-Baseline。

它是怎么做到的

这项研究的核心在于数据清洗。团队采用了一种叫基于模型过滤（model-based filtering）的方法，让机器学习模型自动在大规模数据池中挑出最优质的内容，而不是单纯堆砌数据量。

凭借筛选出的 DCLM-Baseline 数据集，7B 版本模型在 2.5 万亿 token 上从头完成训练。它基于 OpenLM 框架打造，原生支持 2K 上下文窗口。

在 5-shot MMLU 基准测试中，DCLM-7B 拿到了 63.7% 的分数。这一成绩比此前开源数据集的标杆 MAP-Neo 提升了 6.6 个百分点，同时节省了 40% 的训练算力。

这个分数不仅超越了同尺寸知名开源模型 Mistral-7B-v0.3 的 62.7%，也已经非常接近 Google Gemma 的 64.3% 和 Meta Llama 3 8B 的 66.2%。随后研究人员通过数据解构技术额外追加了 1000 亿 token 训练，将上下文扩展到 8K，综合任务表现进一步增强。

1.4B 版本同样能打

除了 7B 版本，团队与丰田研究院联合打造的 1.4B 极小模型表现同样亮眼。该版本在 2.6 万亿 token 上训练完成。

在 5-shot MMLU 测试中，DCLM-1.4B 斩获 41.9% 的成绩。它不仅超过了 Hugging Face 近期推出的 SmolLM 1.7B（39.97%），还将 Qwen-1.5B 的 37.87% 以及微软 Phi-1.5 的 35.90% 甩在身后。

目前这两个模型以及 7B 的指令微调版均已上线 Hugging Face。需要留意的是开源协议有细微差异：1.4B 版本采用宽松的 Apache 2.0 协议，允许商用、修改与再分发；而 7B 版本使用的是苹果样本代码许可证。

同时团队也明确提醒，这属于验证数据清洗有效性的早期学术成果，不是给苹果设备打造的端侧功能，模型仍可能带有训练数据里的固有偏见或生成不良回复。

为什么重要

如果你是从事模型预训练或数据工程的开发者，DCLM 是目前市面上不可多得的高分参考样本。它把训练配方、清洗流程、原始数据和权重毫无保留地摊开，大家终于不用再对着各大机构语焉不详的「私有数据配比」猜谜了。

我们认为这项成果最具启发性的地方在于，它打破了必须靠海量算力硬砸才能出奇迹的惯性思维。Apple 团队证明了在 7B 这种甜点尺寸上，把数据洗干净能带来远超预期的收益。只要你有自建基准模型的需求，这套开源方案都值得立即拿来跑跑看。