MiniMaxが「MiniMax-01」をオープンソース公開、400万トークン対応

MiniMaxは、大規模なコンテキスト処理に対応する「MiniMax-01」シリーズをオープンソースで公開しました。ラインナップは言語モデル「MiniMax-Text-01」と視覚マルチモーダルモデル「MiniMax-VL-01」の2種類です。最大の特徴は、一般的な先端モデルの20〜32倍に相当する、最大400万トークンのコンテキストウィンドウを処理できる点です。

膨大なドキュメント群や巨大なソースコードリポジトリ、長時間のマルチモーダル記録をそのまま読み込ませて分析させることが可能です。

400万トークンを支えるアーキテクチャ

従来のTransformerは入力が長くなるにつれて計算コストが二乗で膨らむため、数百万規模の処理は極めて困難でした。そこでMiniMaxは、線形アテンション機構「Lightning Attention」を商用規模で初採用しました。

具体的には8層ごとにブロックを組み、そのうち7層を計算負荷がほぼ線形に収まるLightning Attentionに、残り1層を従来のSoftMaxアテンションに割り当てています。これにより、精度を維持しながら超長文の処理コストを大幅に抑えています。

総パラメータ数は4560億（456B）のMoE構成で、推論時の活性化パラメータは459億（45.9B）です。公式のテストでは、400万トークンを対象にした情報抽出タスクで100%の精度を記録しています。

公開状況と利用方法

両モデルの完全なモデルウェイトはGitHubで公開されています。ただし、4560億パラメータ規模のMoEをローカル環境で動かすには大規模なGPUクラスタが必要になるため、個人PCでの検証向きではありません。

手軽に性能を確かめたい場合は、ウェブ上のMiniMax Chatから直接利用できます。また開発者向けにはAPIも提供されており、入力100万トークンあたり0.2ドル、出力100万トークンあたり1.1ドルという設定になっています。

なぜ重要か

長大なコンテキストを必要とする自律型AIエージェントや、リポジトリ全体を俯瞰する開発支援ツールを検証しているチームにとって、オープンな400万トークン級モデルは非常に有用な選択肢になります。

技術面でも、線形アテンションをハイブリッド構成で4000億超の大規模モデルに適用し、商業レベルの性能を出せることを証明した意義は小さくありません。計算資源の壁に直面しがちな長文処理のアプローチに、新しい現実的な道筋を示したと言えます。