JetBrains、12BのMoEモデル「Mellum2」をApache 2.0で公開

Mellum2は、JetBrainsがテキストとコードの低遅延推論向けにスクラッチから開発した、12Bパラメータのオープンソース混合エキスパート（MoE）モデルです。

単一の巨大モデルですべてを賄うのではなく、プロンプトのルーティング、RAGの文脈圧縮、サブエージェントによる検証、高スループットなコード補完など、呼び出し頻度が高くレイテンシが重視されるパイプライン向けに設計されています。

なぜ2倍以上速いのか

Mellum2の強みは、MoEによる疎なパラメータ活性化にあります。総パラメータ数は12Bですが、各トークンの処理時にアクティブになるのはわずか2.5Bパラメータのみです。

これにより、12B規模の表現力を維持しながら、計算コストを2.5Bモデル並みに抑えることができます。JetBrainsの発表によると、同規模のオープンモデルと比較して2倍以上の推論速度を達成しています。

また、画像や音声などのマルチモーダルには対応せず、自然言語とソースコードだけに絞ってゼロから学習されました。無駄を削ぎ落とした設計が、ソフトウェア開発ワークフローでの高い効率性を支えています。

コード生成、推論、科学、数学のベンチマークにおいても、同体量の競合オープンモデルに匹敵するスコアを記録しています。

主な活用シナリオ

Mellum2は、複数モデルを組み合わせたアーキテクチャで力を発揮します。

1つ目はルーティングとオーケストレーションです。ユーザープロンプトの分類やツールの選択、制御フローの判断を担い、大型モデルの呼び出しコストを削減できます。

2つ目は低遅延が求められるRAGパイプラインです。検索結果の要約や文脈の圧縮、後処理を素早く完了させることができます。

3つ目はエージェントのサブタスク処理です。ステップ計画やコード検証、コンテキスト変換といった中間処理を任せることで、ワークフロー全体の待機時間を減らせます。

Apache 2.0ライセンスで公開されているため、社内コードや機密データを扱うオンプレミス環境やプライベートクラウドにも気兼ねなくデプロイ可能です。

入手方法と実行

Mellum2の重みデータは、Hugging FaceのJetBrainsコレクションから直接ダウンロードできます。

アーキテクチャの詳細や学習手法、ベンチマークの全容については、arXivに公開された技術レポート（2605.31268）で確認できます。

なぜ重要か

生産性の高い開発環境を構築する上で、Mellum2は非常に現実的な選択肢です。IDE内でのリアルタイムなやり取りに数秒の遅延は致命的であり、あらゆる処理に巨大なフロンティアモデルを使うのはコスト面でも無理があります。

コード生成エージェントや社内RAGを構築しているエンジニアにとって、Mellum2はシステムの応答速度を高めつつインフラコストを下げる有力なパーツになるはずです。