엔비디아, MLPerf 트레이닝 v5.1 전 부문 1위 석권…블랙웰 울트라 첫 등판

수천억 개 파라미터를 가진 초거대 AI 모델의 훈련 시간은 그동안 몇 주, 혹은 몇 달 단위로 계산되어 왔습니다. 하지만 엔비디아가 제시한 최신 벤치마크 결과는 이를 단 10분 수준으로 압축했습니다.

AI 훈련 성능의 업계 표준으로 꼽히는 MLPerf Training v5.1에서 엔비디아가 7개 전체 테스트를 석권했습니다. 대형 언어 모델부터 이미지 생성, 추천 시스템, 그래프 신경망에 이르기까지 전 항목에서 가장 빠른 훈련 시간을 기록했으며, 모든 테스트에 결과를 제출한 유일한 플랫폼이었습니다.

Blackwell Ultra의 데뷔와 사상 첫 FP4 훈련

이번 라운드의 주인공은 엔비디아의 차세대 Blackwell Ultra 아키텍처 기반 랙 스케일 시스템인 GB300 NVL72였습니다.

동일한 GPU 수량 기준으로 이전 세대인 Hopper 아키텍처와 비교했을 때, GB300 NVL72는 Llama 3.1 405B 사전 훈련 성능에서 4배 이상, Llama 2 70B의 LoRA 파인튜닝에서는 약 5배 빠른 성능을 보였습니다.

성능을 뒷받침하는 하드웨어 스펙도 대폭 강화되었습니다. 279GB HBM3e 메모리와 2배로 늘어난 어텐션 레이어 연산력, 15페타플롭스의 NVFP4 AI 연산을 지원하는 텐서 코어가 탑재되었습니다. 여기에 처음 도입된 Quantum-X800 인피니밴드 플랫폼을 통해 스케일아웃 네트워크 대역폭도 이전 세대 대비 2배인 800Gb/s로 넓어졌습니다.

가장 결정적인 기술적 진전은 MLPerf Training 역사상 최초로 NVFP4 정밀도를 사용해 연산을 수행했다는 점입니다. 4비트 계산은 속도가 월등히 빠르지만 정보 손실 때문에 훈련 정확도를 유지하기가 극도로 까다롭습니다. Blackwell Ultra는 FP4 계산 속도를 FP8 대비 3배까지 끌어올렸으며, 벤치마크의 엄격한 정확도 요건을 충족하면서 FP4 훈련 결과를 제출한 곳은 엔비디아가 유일했습니다.

5000개 GPU 클러스터, 405B 훈련에 10분

대규모 확장성 부문에서는 5000개 이상의 Blackwell GPU를 연동해 Llama 3.1 405B 모델 훈련을 10분 만에 끝마쳤습니다. 이는 직전 라운드 Blackwell 최고 기록보다 2.7배 빠른 수치입니다.

새롭게 교체된 벤치마크에서도 기록 행진이 이어졌습니다. 기존 BERT-large 대신 도입된 소형 LLM인 Llama 3.1 8B 훈련에는 512개의 Blackwell Ultra GPU가 투입되어 5.2분을 기록했습니다. 또한 Stable Diffusion v2를 대체한 최신 이미지 생성 모델 FLUX.1 테스트에서는 유일하게 엔비디아 플랫폼만이 결과를 냈으며, 1152개 GPU로 12.5분 만에 훈련을 마쳤습니다.

델, HPE, 레노버, 슈퍼마이크로 등 15개 파트너 기업도 엔비디아 하드웨어 기반의 성능 결과를 함께 제출했습니다.

왜 중요한가

자체 파운데이션 모델을 사전 훈련하거나 대규모 파인튜닝을 진행해야 하는 기업 입장에서, 훈련 시간 단축은 곧바로 개발 실패 비용의 극적인 감소로 이어집니다. 동일한 하드웨어 규모에서 처리량이 4배에서 5배 늘어난다는 것은 한정된 예산 안에서 더 과감한 모델 실험을 돌려볼 수 있다는 뜻입니다.

반도체 및 AI 인프라 업계 전반으로 보면 엔비디아가 'FP4 훈련의 실효성'을 공식 검증해 냈다는 점이 가장 뼈아픈 차별점입니다. 경쟁사들이 여전히 FP8 훈련 파이프라인의 수율과 안정성을 맞추느라 애쓰는 상황에서, 엔비디아는 규격을 한 세대 앞서 이동시켰습니다.

다만 이러한 압도적인 성능은 GB300 NVL72 랙과 800G 네트워크가 완벽히 결합된 풀스택 환경에서만 나옵니다. 우리는 엔비디아가 성능 격차를 벌리는 동시에 독자 규격과 전용 네트워크로 고객 락인을 한층 강화하고 있다고 봅니다. 고객 입장에서는 타사 칩으로의 전환 비용이 이전보다 훨씬 더 커질 수밖에 없습니다.