Cerebrasが超高速AI推論を発表、Llama 3.1で毎秒1800トークンを達成

AIのテキスト生成を待つ時間は、まるで画面の向こうの誰かがキーボードを叩いているのを眺めているようなもどかしさがあります。しかし、その常識がいよいよ覆るかもしれません。

AI向け高性能プロセッサを手がける米Cerebras Systemsは8月27日、世界最速を謳う推論クラウドサービス「Cerebras Inference」を発表しました。Metaのオープンソースモデル「Llama 3.1」を提供し、8Bモデルで毎秒1800トークン、70Bモデルで毎秒450トークンという驚異的な出力速度を叩き出しています。

第三者ベンチマーク機関のArtificial Analysisの検証でも、8Bで毎秒1800トークン以上、70Bで毎秒446トークン以上を記録。主要クラウド上で稼働するNVIDIA製GPUソリューションと比較して、約20倍の高速化を達成したとされています。

価格設定もアグレッシブです。100万トークンあたり、Llama 3.1 8Bが0.10ドル、70Bが0.60ドル。同社はGPU構成と比べて最大100倍のコストパフォーマンスを誇るとアピールしています。

ウェエハ全体を1枚のチップに、メモリ帯域の壁を破壊

大規模言語モデルの推論において最大のボトルネックとなってきたのは、演算器自体の性能よりも、メモリからデータを読み出す通信速度、いわゆる「メモリの壁」でした。

Cerebrasはこの課題を、独自の超巨大プロセッサ「Wafer Scale Engine 3（WSE-3）」を搭載した「CS-3」システムで解決しています。一般的な半導体のようにシリコンウェハを何百個もの小さなチップに切り分けるのではなく、ウェハ丸ごと1枚を巨大な1基のチップとして製造しています。

この構造により、NVIDIA H100の約7000倍という桁違いの内部メモリ帯域幅を実現しました。

速度のためにモデルを過剰に軽量化（量子化）して精度を落とす手法も取っていません。全プロセスを16ビット精度で実行しており、Artificial AnalysisもMetaの公式モデルと同等の出力を確認しています。

開発者にとっても導入は容易です。APIはOpenAIのChat Completionsと互換性があり、数行のエンドポイント変更で乗り換えられます。サービスは無料枠のあるFree、従量課金のDeveloper、プライベート環境やオンプレミスに対応するEnterpriseの3段階で展開されます。

AI研究者のアンドリュー・エン氏は、何度もLLMを呼び出すエージェントワークフローにとって非常に有用だとコメント。PerplexityやLiveKit、Dockerなどもパートナーとして名を連ねています。

なぜ重要か

毎秒1800トークンという速度は、単に「回答の待ち時間が減る」以上の意味を持っています。

私たちは、この速度こそがAIエージェントの実用化に向けた決定打になると考えています。これまでの推論速度では、複数のエージェントが裏で相談し、コードを書き、自己修正するような複雑なタスクを実行すると、完了までに数分かかり実用性に欠けていました。Cerebrasの環境なら、数十回の推論ステップを踏んでも数秒で完結し、音声対話でも人間らしい即答が可能になります。

OpenAI互換APIと格安な料金体系が用意されているため、エージェントやリアルタイム応答アプリケーションを開発しているエンジニアなら、今すぐ試す価値は十分にあります。

一方で懸念もあります。ウェハスケールチップは製造難度とコストが極めて高く、NVIDIAの大規模サプライチェーンのように膨大な需要急増へどこまで迅速に応じられるかは不透明です。

それでも、AIハードウェア市場の約40%を推論が占め、今後さらに拡大していくタイミングで、NVIDIA GPUの弱点であるメモリ帯域を突いた今回の立ち回りは極めて鮮やかです。寡占が進むAIインフラ市場において、本格的な対抗軸として存在感を示し始めています。