OpenAI 联合英伟达等开源 MRC 协议：微秒级绕开故障，让超算训练不掉线

MRC（Multipath Reliable Connection）是 OpenAI 联合 NVIDIA、AMD、Broadcom、Intel 和微软共同推出并开源的 GPU 超算网络协议。它主要解决超大规模 AI 集群训练中网络拥塞和硬件故障频发的问题，把数据切片分散到数百条网络路径同时发送，并在微秒级时间内自动绕开坏掉的链路，防止数万张 GPU 因单点故障陷入停摆。

目前该协议规范已通过 OCP（开放计算项目）向全行业公开，相关的技术论文《Resilient AI Supercomputer Networking using MRC and SRv6》也同步发表，供硬件厂商和基础设施工程师参考实现。

它怎么做到微秒级避障

在大模型同步预训练中，几万张卡在每个步骤都要步调一致地交换数据。以往任何一根网线闪断或者交换机抖动，整个任务往往就会直接崩溃，或者停顿几十秒等网络重新计算路由，浪费大量算力。

MRC 扩展了现有的 RoCE 协议并结合 UEC 的理念，先从物理拓扑上改变了连接方式。它不把网卡当成单一的高速通道，而是把一张 800Gb/s 网卡拆成八条独立的 100Gb/s 链路，分别连接八台不同的交换机，构建出八个并行的网络平面。这样只需两层交换机就能连接约 13.1 万张 GPU，比传统方案少了一到两层设备，成本和功耗更低。

为了用满这些多路径，MRC 采用自适应数据包喷洒机制。一次传输的数据会被切成小包，随机散布到所有平面的数百条路径上发出。每个数据包都自带最终内存地址，接收端收到后直接按乱序写入显存。一旦某条路径丢包，MRC 会在微秒内判定该路径异常并将其剔除，换用备用路径重传，同时在后台发送探测包检查故障链路是否恢复。

更彻底的是，它直接干掉了 BGP 等复杂的动态路由协议，改用基于 SRv6 的静态源路由。发送端在打包数据时，就把途径的交换机编号直接写进 IPv6 目标地址。交换机收到包后只需按预设的静态转发表盲转并剥离自己的标签，完全不需要参与路由计算，从根源上消除了交换机软件异常导致的路由故障。

实际效果与落地情况

MRC 已经在 OpenAI 最大的 NVIDIA GB200 超算集群中全面投产，包括位于得克萨斯州阿比林与 OCI 合作的集群，以及微软的 Fairwater 超算。在训练支撑 ChatGPT 和 Codex 的前沿模型期间，这套系统经受住了高频故障的考验。

根据公布的数据，在集群每分钟出现多次链路闪烁的情况下，同步预训练作业完全不受影响，甚至不需要运维人员立即抢修。OpenAI 团队在训练期间曾直接重启了 4 台 Tier-1 交换机，或在线带电维护线缆，整个训练任务没有发生任何中断。如果一张 8 端口网卡断掉其中 1 个端口，MRC 会自动避开损坏的平面，集群通信仅出现轻微降速，整体任务平稳运行。

想使用 MRC 的开发者和硬件团队，目前可以直接在 Open Compute Project 官网获取完整的规范文档和设计论文。由于它需要将逻辑下沉到网卡硬件中，目前主要面向具备 800Gb/s 网卡设计能力、自建大规模 RDMA 网络的云厂商与超算架构师。

为什么重要

这套协议代表了 AI 基础设施从拼硬件带宽转向拼系统容错的一个分水岭。我们认为，OpenAI 把核心网络规范免费扔给 OCP，表面上是做开源贡献，实际上是在联合英伟达以外的多家芯片和网络巨头，共同推动下一代以太网标准的落地，避免未来被单一专有网络生态深度锁定。

对于正在搭建千卡、万卡集群的企业来说，现在并不需要急着推翻现有架构，但 MRC 的源路由与多平面拆分思路非常值得借鉴。随着单集群规模突破十万卡，硬件故障早晚会成为家常便饭，能够像 MRC 这样把网络容错做进微秒级，才是集群真正能跑满算力的底气所在。