NVIDIA、100万トークン超の推論を高速化する新チップ「Rubin CPX」を発表

長尺の高精細動画を生成したり、AIにプロジェクト全体のコードを読み込ませたりする作業は、膨大な計算コストを消費します。実際の現場で最大のボトルネックになっているのは、単なる計算性能の不足ではなく、複数のチップ間でデータを行き来させる際の遅延と非効率さでした。

NVIDIAは大規模なAI推論タスクを高速化する新チップシステム「Rubin CPX」を発表しました。100万トークンを超える長大なコンテキストを必要とする過酷な処理を効率的にさばく設計です。

映像処理と推論を1枚の基盤に統合

従来のAI動画生成などのパイプラインでは、映像のデコード、推論計算、そして生成された動画のエンコードを、それぞれ異なるプロセッサやユニットに分担させることが一般的でした。

このマルチチップ構成は処理ごとに最適化できる反面、チップ間でのデータ転送が大きなロスを生み、処理速度と電力効率の両面で課題となっていました。

Rubin CPXはこの課題に対し、動画のデコード、エンコード、そして推論処理を単一のプラットフォーム上に統合するアプローチをとっています。

主なターゲットとして想定されているのは、動画生成とソフトウェアコーディングの2分野です。どちらも1時間あたり最大100万トークン規模のデータを連続して処理する必要がある負荷の高いワークロードです。

処理の全工程を1つのシステム内で完結させることで、チップ間連携の無駄を削ぎ落とし、長大コンテキストの処理を滑らかに進める狙いです。

なぜ重要か

開発者やサービス事業者にとって、100万トークン級の長文処理や動画生成のコストは頭の痛い問題です。巨大なコードベースの解析や連続的な映像出力を実用的なレイテンシで動かすには、インフラの簡素化が欠かせません。1つのプラットフォームでメディア処理と推論を同時に担えるなら、データセンター運用の負担は確実に軽くなります。

半導体業界にとっても、競争の主戦場がモデルの学習から、実用に直結する長コンテキスト推論へと移っていることを示しています。単に計算スピードを競うだけでなく、動画生成の実務で最も負荷がかかるエンコードやデコードまで取り込んだ点に、NVIDIAの巧みなエコシステム戦略が見えます。

バラバラだったパイプラインを1つに束ねるこの方針は非常に合理的だと考えられます。もっとも、これが運用コストをどこまで劇的に引き下げられるかは、量産時の電力効率やシステム価格次第と言えそうです。