Snowflake、企業向けLLM「Arctic」をApache 2.0でオープンソース公開

Snowflakeは、エンタープライズのデータベース処理やSQL生成に特化した大規模言語モデル「Arctic LLM」をオープンソースとして公開しました。商用利用および研究目的で誰でも利用できるApache 2.0ライセンスが適用されています。

詩の創作や一般的な雑談ではなく、企業のデータ業務や社内向けコパイロットの構築に焦点を絞った設計です。

仕組みと性能

ArcticはMoE（Mixture of Experts）アーキテクチャを採用しており、全体のパラメータ数は4800億（480B）に達します。ただし、推論時にアクティブになるのは170億（17B）パラメータのみで、128個の専門家モデルにタスクを分散して処理します。

この構造により、学習コストを大幅に抑えることに成功しました。RefinedWeb、C4、RedPajama、StarCoderといったオープンデータセットを用い、約1000台のGPUを使って3カ月、約200万ドルで学習を完了。同社によれば、同等クラスのモデルと比べて約8分の1のコストで済んだとのことです。

ベンチマークにおいて、SnowflakeはSQL生成やコーディング領域で競合であるDatabricksのDBRXを上回ったと主張しています。MetaのLlama 2 70BやMistralのMixtral-8x7Bも凌駕していますが、より新しいLlama 3 70Bには及んでいません。一般的なMMLUテストでも高いスコアを記録しています。

必要なハードウェアと制限事項

オープンソースとはいえ、個人PCや単一のGPUで手軽に動かせるモデルではありません。Arcticを自前でファインチューニングまたはホスティングするには、およそ8台のエンタープライズ向けGPUが必要です。

また、コンテキスト長はチューニング手法に応じて約8000語から2万4000語にとどまります。Gemini 1.5 ProやClaude 3 Opusのような超長文対応モデルと比べると小さく、過去のやり取りを見落としたり、ハルシネーションを起こしたりするリスクは残ります。

モデルウェイトやコードテンプレートはHugging Face、Microsoft Azure、Together AI、Laminiなどで入手可能です。Snowflakeは自社のCortexプラットフォームを推奨ホスティング環境として案内しています。

なぜ重要か

データ分析チームや社内データ基盘の開発者にとって、商用利用可能なオープンライセンスで高精度なSQL生成モデルが手に入る意義は小さくありません。特定のプロプライエタリなクラウドに縛られたくない組織にとっては有力な候補になります。

ただし、480Bという巨大な構成と8台のGPUを要する運用コストは大きな壁です。実質的には自前運用よりも、Snowflake Cortexをはじめとするマネージド環境で利用されるケースが大半になると見られます。