OpenAI, 엔비디아 등과 새 통신 규격 'MRC' 공개: 장애 발생해도 AI 훈련 중단 없다

MRC(Multipath Reliable Connection)는 OpenAI가 엔비디아, AMD, 브로드컴, 인텔, 마이크로소프트와 2년여간 공동 개발해 오픈소스로 공개한 대규모 GPU 클러스터용 네트워크 프로토콜입니다. 대규모 AI 모델 훈련 중 발생하는 네트워크 혼잡과 하드웨어 장애를 해결하기 위해 개발되었으며, 데이터를 수백 개 경로로 분산 전송하고 장애 발생 시 마이크로초 단위로 경로를 우회해 클러스터 중단을 막아줍니다.

이 프로토콜의 기술 규격은 OCP(Open Compute Project)를 통해 공개되었으며, 설계와 실증 결과를 담은 논문 'Resilient AI Supercomputer Networking using MRC and SRv6'도 함께 배포되었습니다.

마이크로초 단위로 장애를 피하는 원리

대규모 동기식 AI 사전 훈련에서는 수만 대의 GPU가 한 치의 오차도 없이 데이터를 주고받아야 합니다. 기존 네트워크에서는 케이블 하나가 흔들리거나 스위치 오류가 나면 훈련 작업 전체가 멈추거나, 경로를 재계산하느라 수십 초 동안 GPU 연산이 중단되는 문제가 잦았습니다.

MRC는 기존 RoCE 규격을 확장하고 UEC의 기술 개념을 결합해 구조를 바꿨습니다. 800Gb/s 네트워크 인터페이스를 단일 링크로 쓰지 않고 8개의 100Gb/s 링크로 쪼개어 각각 다른 스위치에 연결함으로써 8개의 병렬 네트워크 평면을 구축합니다. 이 방식을 쓰면 스위치를 단 2계층만 거치고도 약 13만 1,000개의 GPU를 연결할 수 있어 3~4계층을 쓰던 기존 구성보다 장비 비용과 전력 소모를 크게 줄일 수 있습니다.

이 다양한 경로를 효율적으로 활용하기 위해 MRC는 적응형 패킷 스프레잉 기술을 씁니다. 단일 전송 데이터를 잘게 쪼개 모든 평면의 수백 개 경로로 동시에 흩뿌려 전송하며, 수신단에 패킷이 순서와 무관하게 도착해도 지정된 메모리 주소에 즉시 기록됩니다. 특정 경로에서 패킷 손실이 감지되면 MRC는 마이크로초 단위로 해당 경로를 격리하고 예비 경로로 재전송하며, 백그라운드 탐색 패킷을 통해 복구 여부를 확인합니다.

또한 BGP와 같은 복잡한 동적 라우팅 프로토콜을 과감히 제거하고 SRv6 기반 정적 소스 라우팅을 도입했습니다. 송신측이 패킷 헤더의 IPv6 목적지 주소에 거쳐갈 스위치 목록을 미리 지정해 보내기 때문에, 스위치는 복잡한 경로 계산 없이 고정된 테이블만 보고 패킷을 전달합니다. 스위치 소프트웨어 오류로 인한 통신 마비를 원천 차단한 셈입니다.

실제 클러스터 적용과 도입 안내

MRC는 단순 연구 단계가 아니라 OpenAI의 핵심 NVIDIA GB200 슈퍼컴퓨터 클러스터에 이미 전면 배포되어 있습니다. 텍사스주 애빌린에 위치한 OCI 인프라와 마이크로소프트의 Fairwater 슈퍼컴퓨터가 대표적이며, ChatGPT와 Codex 기반 모델들을 훈련하는 데 실제로 쓰였습니다.

실제 운영 과정에서 스위치 간 링크 플랩이 분당 수 차례 발생해도 동기식 훈련 작업에는 아무런 지장이 없었습니다. 엔지니어들은 훈련 도중 4대의 Tier-1 스위치를 재부팅하거나 활선 상태에서 케이블을 교체하는 유지보수 작업을 사전 중단 없이 진행했습니다. 8개 포트 중 하나가 끊겨도 MRC가 고장 난 평면을 즉시 배제해 훈련을 지속시킵니다.

MRC 규격과 기술 백서는 OCP 공식 웹사이트에서 내려받을 수 있습니다. 다만 정교한 패킷 스프레잉과 소스 라우팅을 하드웨어 레벨에서 처리해야 하므로, 800Gb/s 네트워크 장비를 설계하거나 초대형 RDMA 클러스터를 직접 운영하는 클라우드 사업자 및 인프라 엔지니어에게 적합합니다.

왜 중요한가

이번 발표는 대규모 AI 인프라의 핵심 과제가 단순한 대역폭 확장에서 '무중단 자율 복구력'으로 옮겨갔음을 보여줍니다. OpenAI가 이 프로토콜을 독점하지 않고 OCP에 기증한 것은, 엔비디아를 비롯한 칩 제조사 및 클라우드 파트너들과 함께 개방형 이더넷 생태계를 구축하여 특정 벤더의 전유 기술 종속을 방지하려는 의도로 보입니다.

자체 AI 클러스터를 구축하는 기업 입장에서는 당장 모든 설비를 바꿀 필요는 없지만, MRC가 입증한 소스 라우팅과 다중 평면 패킷 분산 설계는 눈여겨볼 만합니다. 10만 장 이상의 GPU를 묶는 환경에서는 하드웨어 장애가 일상이 되는 만큼, 마이크로초 단위로 오류를 흡수하는 네트워크 아키텍처가 향후 인프라 경쟁력을 좌우할 것입니다.