OpenAIらが新ネットワーク規格「MRC」公開：障害を即座に回避しAI学習を止めない

MRC（Multipath Reliable Connection）は、OpenAIがNVIDIA、AMD、Broadcom、Intel、マイクロソフトと共同開発し、オープンソース化したGPU超大型クラスタ向けのネットワークプロトコルです。数万基規模のGPUが協調して動作するAI学習において、パケットを数百の経路へ同時に分散送信し、ハードウェア障害をマイクロ秒単位で回避することで、クラスタ全体の停止を防ぎます。

本プロトコルの仕様はOpen Compute Project（OCP）を通じて一般公開されており、技術論文「Resilient AI Supercomputer Networking using MRC and SRv6」も合わせて提供されています。

マイクロ秒で障害を避ける仕組み

同期型のAI事前学習では、全GPUが足並みを揃えてデータをやり取りします。従来の構成では、ケーブル1本の瞬断やスイッチの不具合が起きるたびに学習全体がクラッシュするか、経路の再計算のために数十秒間GPUがアイドル状態に陥る問題がありました。

MRCはRoCEを拡張し、UECの知見を取り入れてネットワーク構成を根本から変えています。800Gb/sのネットワークインターフェースを1本の太い回線として扱うのではなく、8本の100Gb/sリンクに分割し、8台の別々のスイッチへ接続して8つの並行ネットワークプレーンを構築します。これにより、わずか2層のスイッチで約13万1000基のGPUを相互接続でき、従来の3〜4層構成と比べて機器コストと消費電力を抑えられます。

この帯域を活かすため、MRCは適応型パケットスプレーを採用しています。送信データは細かく分割されて数百の経路へばら撒かれ、順不同で届いたパケットもヘッダーの指定アドレスに従って直接GPUメモリへ書き込まれます。途中でパケットロスを検知すると、MRCは即座にその経路の使用を停止して別の正常な経路へ切り替え、裏で障害リンクの回復をプローブ監視します。

さらに、BGPなどの複雑な動的ルーティングを廃止し、SRv6を用いた静的ソースルーティングを採用しました。送信側がパケットヘッダー内に通過すべきスイッチの順序を直接書き込むため、スイッチは設定済みのテーブルに従って転送するだけで済み、スイッチソフトウェアの不具合による通信停止を排除しています。

実環境での実績と利用要件

MRCはすでに、テキサス州アビリーンのOCI拠点やマイクロソフトのFairwaterクラスタなど、OpenAIが最新フロンティアモデルの学習に用いるNVIDIA GB200超大型スーパーコンピュータに配備されています。ChatGPTやCodexの後継モデルの訓練もこの上で実施されました。

実際の運用では、毎分複数回のリンクフラップが発生しても同期学習に測定可能な影響は出ず、訓練中にTier-1スイッチ4台を再起動したり、ケーブルの活線修理を行ったりしてもジョブは止まりませんでした。8ポート中1ポートが故障した場合でも、MRCが該当プレーンを自動迂回して学習を継続させます。

MRCの仕様書と論文はOCPを通じて誰でも参照可能です。ただし、高度なパケットスプレーやトリミングをNIC上で処理する必要があるため、最新の800Gb/sインターフェースと大規模クラスタ設計を行えるクラウド事業者やインフラ設計者が主な対象となります。

なぜ重要か

この規格の公開は、AIインフラの競争軸が「単なる帯域の広さ」から「障害を前提とした超高速な自律回復力」へ移ったことを示しています。OpenAIがこれをOCPに拠出した背景には、特定ベンダーの独自規格に縛られるのを避け、主要半導体・ネットワーク各社とともに標準的なイーサネット技術を確立したい狙いがあると見られます。

自社でAIクラスタを構築するエンジニアにとって、今すぐ既存網を置き換える必要はありませんが、SRv6による静的ソースルーティングとパケットスプレーの設計思想は極めて実践的です。10万基規模のクラスタ運用ではハードウェア故障が日常茶飯事となるため、MRCが提示したマイクロ秒単位の耐障害アプローチは今後の必須要件になっていくはずです。