Mistral、Mamba採用のコード生成モデル「Codestral Mamba」をApache 2.0で公開

Codestral Mambaは、Mistral AIがMambaアーキテクチャの提唱者であるAlbert Gu氏およびTri Dao氏と共同で開発したオープンソースのコード特化型モデルだ。パラメータ数は7,285,403,648（約7.3B）で、ローカル環境で長大なコードベースを高速に処理する目的で設計されている。

主流のTransformerではなくMambaアーキテクチャを採用したことで、計算量はシーケンス長に対して線形に推移する。理論上は無限のシーケンス長を扱う能力を持ち、入力がどれほど長くても推論遅延が跳ね上がらないのが最大の特徴だ。

何ができるか

プロジェクト全体のコードや膨大なログをまとめて読み込ませたい開発者にとって、このモデルは有力な選択肢になる。公式の評価テストにおいて、Codestral Mambaは最大256kトークンの文脈検索を安定してこなすことが実証されている。

従来のTransformerモデルでは、256kもの長文を入力するとメモリ消費が急増し、応答速度が著しく低下するのが常だった。しかしMambaでは入力長にかかわらず一定の高速応答を維持できる。

プログラミングと推論の能力も徹底的に強化されており、同規模の最先端Transformerモデルに匹敵する性能を記録している。開発者のローカルマシンで常駐して動くコードアシスタントを想定してチューニングされている。

動かし方

ライセンスは寛容なApache 2.0が適用されており、誰でも無償で利用、改変、再配布が可能だ。商用利用に制限があった先行のCodestral 22Bとは異なり、自由な商用展開にも対応している。

モデルの生ウェイトはHugging Faceから直接ダウンロード可能で、指示追従（instruct）済みモデルとして提供される。

デプロイには、公式Mambaリポジトリの実装に依存するmistral-inference SDKが用意されているほか、エンタープライズ向けのTensorRT-LLMにも対応している。

ローカルで手軽に動かしたい開発者に向けては、llama.cppによる対応が進められている。環境構築を行わずにすぐ試したい場合は、Mistralのクラウド「la Plateforme」上でcodestral-mamba-2407として即座にAPI経由でテストできる。

なぜ重要か

プライベートな開発環境で超長文のコードを扱いたいエンジニアなら、今すぐ試す価値がある。256kトークンという超長文コンテキストを、個人開発者のマシンでも実用的なレスポンス速度で扱える点は非常に魅力的だ。

また、長らく研究段階にとどまっていたMambaアーキテクチャが、著名AIラボの手で実用的な7Bコードモデルとして完全オープン化された意味は大きい。Transformer一強だったローカル推論エコシステムが、新しいアーキテクチャへの最適化を本格的に進める契機になるだろう。