MLPerf 추론 벤치마크 공개: 엔비디아 H200 싹쓸이, AMD는 또 불참

AI 벤치마크 결과가 나올 때 가장 눈여겨볼 대목은 1등의 점수보다 시험장에 나타나지 않은 선수가 누구인지입니다.

MLCommons 가 최신 MLPerf 추론 벤치마크 결과를 발표했습니다. 생성형 AI 수요에 맞춰 메타의 70B 매개변수 Llama 2 와 이미지 생성 모델인 Stable Diffusion 이 공식 평가 지표로 새롭게 추가되었습니다.

엔비디아는 이번에도 7 개 전 부문에 걸쳐 결과를 제출하며 시장을 압도했습니다. 인텔 역시 Gaudi2 와 5 세대 제온 프로세서로 맞불을 놓았지만 기대를 모았던 AMD 의 MI300 은 이번에도 시험을 건너뛰었습니다.

소프트웨어 최적화와 메모리 확장의 합작품

거대언어모델의 추론 효율은 단순 연산력보다 메모리 대역폭과 데이터 전송 효율에서 판가름 납니다.

엔비디아는 오픈소스 추론 컴파일러인 TensorRT-LLM 덕분에 지난 6 개월간 H100 에서 GPT-J 모델 성능을 거의 3 배 가까이 끌어올렸습니다. 당초 발표했던 2 배 향상 예상을 훌쩍 뛰어넘는 수치입니다.

141GB 대용량 고대역폭 메모리를 탑재한 H200 에서는 KV 캐시 최적화 효과가 두드러졌습니다. 엔비디아의 자체 비교 자료에 따르면 H200 은 인텔 Gaudi2 보다 약 4 배 높은 성능을 기록했습니다.

엔비디아는 데이터센터 매출의 약 40% 가 이미 추론 작업에서 나오고 있다고 밝혔습니다. 상용 서비스 배포가 늘어날수록 이 비중은 더 커질 수밖에 없습니다.

고군분투하는 인텔, 침묵하는 AMD

공개 시험에 응한 경쟁사는 인텔뿐이었습니다. AMD 와 구글이 불참하면서 인텔은 Gaudi2 가 H100 에 대항하는 유일하게 검증된 대안이라고 주장했습니다.

인텔은 비용 대비 성능과 총소유비용 측면에서 Gaudi2 가 경쟁력이 있다고 강조했습니다. 아울러 5 세대 제온 CPU 의 AI 성능도 이전 세대 대비 평균 42% 향상되어 소형 모델 추론에서 강점을 유지하고 있다고 설명했습니다.

반면 AMD 의 연속 불참은 아쉬운 대목입니다. 차세대 Blackwell 이 본격 출시되기 전인 지금이 H200 과 겨뤄볼 최적의 타이밍이었지만 고객사들의 MI300 맞춤형 최적화 지원에 여력이 부족했던 것으로 분석됩니다.

왜 중요한가

AI 인프라를 구축하려는 기업과 개발자에게 이번 결과는 연산 성능 수치보다 메모리 용량과 컴파일러의 완성도가 실제 배포 비용을 좌우한다는 점을 보여줍니다. 70B 급 대형 모델을 운영해야 한다면 늘어난 메모리 덕분에 캐시 관리가 수월해진 H200 도입을 진지하게 검토할 가치가 있습니다.

업계 전체로 보면 데이터센터 매출의 40% 가 추론에서 나온다는 사실은 AI 시장의 패권 경쟁이 학습에서 서비스 운영 단계로 완전히 넘어갔음을 알리는 신호입니다.

우리는 인텔의 정면 승부 전략이 영리했다고 판단합니다. 절대 성능에서 H200 에 밀릴 것을 알면서도 벤치마크를 공개해 가성비 중심의 확실한 대안 카드라는 위치를 선점했기 때문입니다.

반면 AMD 를 비롯해 주요 클라우드 및 칩 제조사들의 불참이 이어지는 점은 생태계 차원에서 한계로 보입니다. 공개된 비교 지표가 부족하면 기업 고객은 개별 비밀유지계약 테스트에 의존할 수밖에 없어 시장의 독점 구도를 깨뜨리는 속도 또한 더뎌질 수 있습니다.