엔비디아 블랙웰 울트라, MLPerf 추론 벤치마크 신기록 달성

AI 모델이 똑똑해질수록 추론에 필요한 연산 비용은 눈덩이처럼 불어납니다. DeepSeek-R1처럼 복잡한 문제를 풀기 위해 중간 추론 토큰을 수없이 쏟아내는 모델이 늘어나면서, 데이터센터의 하드웨어 부담은 한계에 다다르고 있습니다.

이러한 상황에서 하드웨어 업계 표준 벤치마크 단체인 MLCommons가 9월 9일 MLPerf Inference v5.1 결과를 공개했습니다. 지난 3월 발표된 엔비디아의 차세대 아키텍처 Blackwell Ultra를 탑재한 GB300 NVL72 랙 시스템이 첫 공식 시험대에 올라 압도적인 기록을 세웠습니다.

DeepSeek-R1 추론 성능, 이전 세대 대비 45% 향상

이번 MLPerf v5.1은 대형 추론 모델 중심으로 시험 과목을 전면 개편했습니다. 6710억 개 파라미터 기반 MoE 구조인 DeepSeek-R1을 비롯해 Llama 3.1 405B 인터랙티브 시나리오, Llama 3.1 8B, 음성 인식 모델 Whisper 등이 새로 도입되었습니다.

결과는 엔비디아의 독무대였습니다. GB300 NVL72는 DeepSeek-R1 오프라인 테스트에서 GPU 1개당 초당 5842개의 토큰을 처리했습니다. 이는 불과 6개월 전 MLPerf v5.0에서 기록을 세웠던 GB200 NVL72 대비 45% 높은 수치이며, 지연 시간을 엄격히 따지는 서버 시나리오에서도 25% 빨라졌습니다. 이전 세대인 Hopper 기반 H200 시스템과 비교하면 GPU당 처리량이 약 5배에 달합니다.

Blackwell Ultra는 GPU당 최대 288GB의 HBM3e 메모리를 제공하며, 기본 Blackwell 아키텍처보다 NVFP4 연산 성능은 1.5배, 어텐션 계층 연산은 2배 향상된 사양을 갖췄습니다.

4비트 양자화와 분리 서빙의 힘

이번 성과는 하드웨어뿐만 아니라 소프트웨어 최적화가 맞물린 결과입니다. 엔비디아는 자체 4비트 부동소수점 포맷인 NVFP4를 활용해 DeepSeek-R1의 가중치를 대거 압축했습니다. 벤치마크가 요구하는 엄격한 정확도 기준을 충족하면서 모델 크기를 줄였습니다.

또한 기존에 BF16으로 저장되던 KV 캐시를 FP8 정밀도로 줄여 메모리 대역폭을 확보했습니다. 거대한 MoE 구조를 효과적으로 다루기 위해 전문가 병렬 처리와 어텐션 데이터 병렬 처리를 분리하고, GPU 간 작업 부하를 균등하게 나누는 ADP Balance 기술도 새로 적용했습니다.

초대형 모델인 Llama 3.1 405B의 경우, 입력 컨텍스트 처리와 실제 토큰 생성을 분리해 처리하는 분리 서빙 기법을 적용해 기존 단일 서버 구동 대비 GPU당 처리량을 47% 끌어올렸습니다.

왜 중요한가

AI 서비스의 경제학이 학습에서 추론으로 완전히 넘어가면서, 토큰당 생성 비용을 낮추는 능력이 곧 기업의 경쟁력이 되었습니다. 복잡한 추론 모델을 운영하는 비용이 지나치게 높다면 실제 비즈니스로 연결하기 어렵기 때문입니다.

GB300 NVL72가 보여준 처리량 향상은 오픈 소스 초대형 모델을 자체 서비스하려는 기업들에게 직접적인 비용 절감 효과를 제공합니다. 애저, 코어위브, 오라클 등 주요 클라우드 공급업체를 통해 인프라가 공급되면 대규모 사용자 트래픽을 감당하는 비용 장벽이 크게 낮아질 것으로 보입니다.

엔비디아의 강점은 경쟁사들이 칩 단품 성능을 쫓아오는 동안, 랙 스케일 통신과 NVFP4 같은 독점 소프트웨어 스택을 묶어 표준화하고 있다는 점입니다. 다만 이처럼 하드웨어와 소프트웨어가 밀접하게 묶일수록, 고객사가 다른 대안 칩으로 전환하기는 더욱 어려워진다는 구조적 한계도 함께 드러나고 있습니다.