オープンソース構造「Mamba-3」登場：遅延を抑えTransformer比で4%性能向上

Mamba-3は、推論時の低遅延と省メモリを追求したオープンソースの状態空間モデル（SSM）アーキテクチャです。カーネギーメロン大学のAlbert Gu氏とプリンストン大学のTri Dao氏の研究チームが開発し、商用利用が可能なApache 2.0ライセンスでコードを公開しました。あわせて技術論文もarXivで閲覧可能です。

Transformerのように会話履歴のトークンを毎回すべて再計算するのではなく、内部で状態のスナップショットを常に更新し続けることで、長文脈でも高速かつ軽量にテキストを生成できます。

推論ファーストで「冷えたGPU」を解消する

前世代のMamba-2は事前学習の効率化に注力していましたが、Mamba-3は明確に「推論ファースト」へと舵を切りました。狙いは、トークン生成時にプロセッサがメモリ転送待ちで遊んでしまう「冷えたGPU（cold GPU）」問題の解消です。

Mamba-3は、Mamba-2と遜色ないパープレキシティ（モデルの言語予測精度）を、わずか半分の内部状態サイズで実現しました。状態が小さくなれば、メモリ帯域への負荷が減り、GPUのアイドル時間を直接削ることができます。

また、従来のSSMが抱えていた推論や算術パターンの追跡が苦手という論理のギャップに対しては、複素数値状態を新たに導入することで弱点を補正しています。

15億パラメータでの性能比較

15億パラメータ（1.5B）規模で行われたベンチマークテストにおいて、Mamba-3のMIMO変体は平均精度57.6%を記録しました。

これは標準的なTransformerモデルを2.2ポイント上回り、相対的な性能向上は約4%に達します。メモリ消費を半減させながら、基礎性能でTransformerを上回った点は実用面で大きな意味を持ちます。

コードとモデル実装はGitHubで入手でき、商用ワークロードを含むあらゆる開発環境で即座に検証可能です。

なぜ重要か

学習コストよりも、日常的に発生する推論コストの抑制が重視される現在の運用フェーズにおいて、推論効率に全振りしたMamba-3のアプローチは極めて合理的です。

エッジ端末への小型モデル組み込みや、低遅延が求められるチャットボット基盤を開発しているエンジニアにとって、今すぐ検証する価値のある選択肢と言えます。Transformer依存を脱却しつつ、推論精度を落とさない新たな選択肢として注目です。