AppleがオープンAIモデル「DCLM」公開、Mistral-7B超えの性能を発揮

DCLMは、Appleの機械学習チームがワシントン大学、テルアビブ大学、トヨタ・リサーチ・インスティテュートと共同開発したオープンソースの小規模言語モデルシリーズです。ラインナップは7Bと1.4Bの2モデルで構成されています。

多くの企業が重みデータのみを配る中で、このプロジェクトは徹底したオープン性を取っています。モデルの重みだけでなく、学習コードや事前学習データセット「DCLM-Baseline」までHugging Face上で完全公開されました。

なぜ高い性能を出せるのか

性能の鍵を握るのは「モデルベース・フィルタリング」と呼ばれるデータ選別手法です。別の機械学習モデルを用いて大規模データから高品質なテキストを自動抽出することで、無駄なデータを削ぎ落としました。

この厳選データをもとに、OpenLMフレームワークを用いて2.5兆トークンでゼロから学習されたのがDCLM-7Bです。標準のコンテキスト長は2Kとなっています。

5-shot MMLUベンチマークにおいて、DCLM-7Bは63.7%の正解率を記録しました。これは従来のオープンデータ基準モデルMAP-Neoを6.6ポイント上回るスコアで、しかも学習時の計算資源を40%削減しています。

このスコアはMistral-7B-v0.3の62.7%を凌駕し、GoogleのGemma（64.3%）やMetaのLlama 3 8B（66.2%）に迫る水準です。さらに追加で1000億トークンを学習させることで、コンテキスト長を8Kまで拡張することにも成功しています。

1.4Bモデルも同クラスを圧倒

トヨタ・リサーチ・インスティテュートと共同学習した1.4Bモデルも2.6兆トークンで鍛え上げられ、極めて高い性能を示しています。

5-shot MMLUでは41.9%を達成し、Hugging Faceが公開したSmolLM 1.7B（39.97%）やQwen-1.5B（37.87%）、MicrosoftのPhi-1.5（35.90%）を軒並み上回りました。

ライセンス面では、1.4Bモデルが商用利用しやすいApache 2.0で提供されているのに対し、7BモデルはApple Sample Code Licenseとなっています。Hugging Faceには7Bの指示チューニング版も用意されています。

なお、本作はデータキュレーションの有効性を実証するための基礎研究であり、Appleデバイス向けの製品機能ではありません。そのため学習データ由来のバイアスなどが残る点には留意が必要です。

なぜ重要か

独自に小規模モデルを事前学習させたいエンジニアにとって、DCLMは最高の教材かつ検証環境です。多くの先行モデルが秘密にしてきた学習データの全貌と選別手法が、再現可能な形で手に入ります。

巨大な計算資源で力任せに学習させるのではなく、データの質を研ぎ澄ますことで4割の計算量を浮かせられると証明した意義は大きいです。エッジ向けモデルの最適化に取り組んでいる開発者なら、試す価値が十分にあります。