OpenAI、初の独自推論チップ「Jalapeño」の性能公開　電力効率最大1.9倍

大規模言語モデルの開発元が、ついに最大の頭痛の種である推論コストの削減に本格的に乗り出しました。

OpenAIは8月25日のHot Chipsカンファレンスにて、同社初の独自推論チップ「Jalapeño」の初期ベンチマーク結果を公表しました。Broadcomと共同開発されたこのASICは、SemiAnalysisが提供するInferenceXベンチマークにおいて、NVIDIAのGB200およびGB300搭載システムと比較検証されています。

対象となったのはGPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tの3つのモデルです。Jalapeñoはピークスループット時においてワットあたり1.5倍から1.9倍の作業量を処理し、エンドツーエンドのレイテンシを1.7倍から3.6倍短縮しました。対話型の高負荷処理では、性能差が2.1倍から4.1倍に広がったと報告されています。

AIが自ら設計を支援した専用シリコン

言語モデルの推論処理は、プロンプトを読み込むPrefill（計算負荷が高い）と、単語を1つずつ生成するDecode（メモリ帯域がボトルネック）という異なる2つのフェーズに分かれます。従来のハードウェアでは高スループットと低遅延のどちらかを犠牲にするのが一般的でした。

Jalapeñoはデータ移動とチップ間通信の遅延を極小化するよう設計されており、生成中に使用されるKVキャッシュなどのモデル状態をローカルに保持します。チップ定格は700Wですが、実際の稼働負荷では550W以下に収まったといいます。

開発工程も特徴的で、OpenAIは自社モデルを活用して回路の最適化や検証を行い、設計開始からテープアウトまでわずか9カ月で完了させました。さらにCodexとGPT-Astraを使い、2カ月間で3つのオープンモデルの最適化を実施。特定のブロックでは、AIが生成した実装が人間の専門家が書いたコードより1.5倍から1.8倍高速に動作しました。

ハードウェア担当バイスプレジデントのRichard Ho氏によると、年末までに同社のインフラへ小規模に導入され、本格的な展開は2027年になる見通しです。第2世代の開発も進められていますが、NVIDIAなどの既存パートナーからの調達を完全に置き換えるわけではないとしています。

なぜ重要か

私たちは、このチップの真の価値は自律型AIエージェントの実用化コストを下げる点にあると考えています。複数ステップの推論を連続して実行するエージェントでは、わずかな遅延の蓄積が全体の使い勝手を損ない、計算コストも急膨張します。低遅延と電力効率を両立させることは、エージェントを日常的に動かすための必須条件です。

業界全体から見れば、OpenAIがGoogleのTPUやAWSの独自チップと同様に、フルスタックの垂直統合へ踏み込んだことを意味します。モデル、ソフトウェア、シリコンを一体で設計することで、無駄なオーバーヘッドを削ぎ落とせます。2027年の大規模配備時には競合ハードウェアも進化しているはずですが、自前の実行基盤を持つこと自体がNVIDIAに対する強力な価格交渉力になります。

学習用ではなく、最も運用コストがかさむ推論専用に絞り込んだ判断は極めて合理的です。「AIがチップを設計し、そのチップでAIを動かす」という循環が現実のものになりつつあります。