Inception LabsがMercury Coder公開：画像拡散技術を応用、毎秒1000トークン超

画像生成AIのMidjourneyや動画生成のSoraを使っていると、画面全体がノイズから徐々に鮮明になっていく様子をよく目にするはずだ。

しかし、テキスト生成の世界では、AIが1文字ずつ順番に出力していく「自己回帰型」が長らく常識だった。この左から右へ逐次処理する仕組みこそが、推論速度の最大のボトルネックとなってきた。

スタンフォード大学のStefano Ermon教授が共同設立したInception Labsは、この常識を覆そうとしている。同社は、画像生成の拡散技術をコード生成に応用した初の商用言語モデル「Mercury Coder」を公開した。標準的なNvidia H100上で、毎秒1000トークン以上の出力速度を叩き出す。

タイプライター方式からの脱却

従来の言語モデルは、前の単語が出力されなければ次の単語を計算できない、いわば超高速なタイプライターのようなものだった。

Mercury Coderが採用した拡散言語モデル（dLLM）は全く異なるアプローチをとる。完全なノイズ状態から始め、シーケンス全体を粗い段階から細かい段階へと複数ステップで並列にノイズ除去していく。

全体を一括処理するため、GPU本来の並列計算能力を限界まで引き出すことができる。Inception Labsによると、この手法によって処理速度は最大10倍に向上し、推論コストも劇的に削減されるという。

標準的なコーディングベンチマークにおいて、Mercury CoderはOpenAIのGPT-4o MiniやAnthropicのClaude 3.5 Haiku、Gemini 2.0 Flash-Liteに匹敵する性能を示しながら、レイテンシは大幅に低く抑えられている。

特殊チップなしで毎秒1000トークン超

毎秒1000トークンという速度は、これまではGroqやCerebrasのような特殊な推論専用チップでなければ難しかった領域だ。

それを標準的なH100で実現した点に、業界の注目が集まっている。著名AI研究者のAndrej Karpathy氏はXで、画像や動画が拡散モデルを採用する一方でテキストがなぜか自己回帰型に留まり続けてきたのは長年の謎だったと指摘し、このモデルがテキスト生成の新たな強みや弱みを明らかにするかもしれないと評価した。

現在、chat.inceptionlabs.aiのPlaygroundで誰でも試すことができ、サイドバーで生成コードのプレビューも確認できる。法人向けにはMercury Coder MiniおよびSmallのAPI提供やオンプレミス展開の受付を開始しており、チャットモデルも非公開ベータ版でテスト中だという。

なぜ重要か

私たちは、Mercury Coderが示した「テキスト生成も拡散モデルで成立する」という実証結果そのものが極めて重要だと考えている。

ユーザーや開発者にとってのメリットは明快だ。リアルタイムのコード補完やカスタマーサポート、業務自動化など、遅延がユーザー体験を直撃する場面において、待ち時間がほぼゼロになる恩恵は大きい。既存のGPU環境のまま推論スループットを何倍にも引き上げられるなら、インフラ費用も大幅に削減できる。

業界全体にとっても、専用ハードウェアへの依存に対する強力なカウンターとなる。これまで超高速推論といえば専用チップへの投資が前提になりつつあったが、アーキテクチャの工夫次第で一般的なNvidia GPUでも同等以上の速度が出せることが証明されたからだ。

もちろん、複雑なロジックが何重にも絡み合う長大なコード生成において、拡散モデルが自己回帰型と同等の厳密な整合性を維持し続けられるかは、今後の実務検証を待つ必要がある。それでも、一本道だった言語モデルの進化に確かな別ルートを提示した意義は大きい。