엔비디아 H100, MLPerf 훈련 8개 부문 신기록…GPT-3 11분 만에 완료

GPT-3 수준의 초거대 언어모델을 학습시키는 데 과거에는 수주 혹은 수개월 단위의 시간이 필요했습니다. 이제 그 작업 단위가 분 단위로 단축되고 있습니다.

발표된 최신 MLPerf 훈련 벤치마크에서 엔비디아의 H100 텐서 코어 GPU가 8개 전 부문에서 최고 기록을 경신했습니다. 이번에 처음 도입된 생성형 AI 훈련 벤치마크에서도 압도적인 수치를 기록했습니다.

특히 인플렉션 AI와 GPU 클라우드 서비스 기업 코어위브가 구축한 상용 클러스터에서는 3,584개의 H100 GPU를 동원해 GPT-3 기반 훈련 벤치마크를 11분도 채 안 되는 시간에 끝마쳤습니다.

수천 개 GPU의 선형적 확장성과 단독 완주

이번 MLPerf 결과에서 돋보이는 부분은 대규모 클러스터의 확장 효율입니다. H100을 수백 대에서 수천 대 규모로 늘려 투입해도 시스템 성능이 거의 선형적으로 증가하는 모습을 보였습니다.

코어위브는 엔비디아 퀀텀-2 인피니밴드 저지연 네트워크를 활용해 클라우드 환경에서도 엔비디아 자체 온프레미스 AI 슈퍼컴퓨터와 대등한 성능을 뽑아냈습니다.

H100은 대규모 언어모델, 추천 시스템, 컴퓨터 비전, 의료 영상, 음성 인식 등 이번 8개 테스트를 모두 완주한 유일한 칩이었습니다. 데이터셋 규모가 대폭 커진 최신 추천 시스템 벤치마크의 경우 유효한 결과를 제출한 기업 자체가 엔비디아뿐이었습니다.

하드웨어 파트너 생태계의 참여도 두드러졌습니다. 에이수스, 델 테크놀로지스, 기가바이트, 레노버, QCT 등 주요 서버 제조사들이 엔비디아 플랫폼을 기반으로 제출한 테스트 결과만 30건을 넘어섰습니다.

왜 중요한가

우리가 보기에 이번 결과의 핵심은 단일 칩의 연산력보다 3,500대 이상의 GPU가 클라우드 환경에서 하나의 기계처럼 유기적으로 맞물려 돌아간다는 점을 입증했다는 데 있습니다. 자체 파운데이션 모델을 훈련하거나 고도화하는 기업 입장에서 모델 튜닝 주기가 며칠에서 몇 분 수준으로 단축되는 것은 실험 생산성 차원에서 차원이 다른 문제입니다.

산업 전반의 경쟁 구도로 보면 격차는 더 뚜렷해 보입니다. 생성형 AI와 차세대 추천 시스템처럼 가장 거대한 자본이 투입되는 영역에서 다른 경쟁 칩셋들이 공식 검증 결과조차 내놓지 못하면서, 기업들의 인프라 선택지가 엔비디아로 고착화되고 있습니다.

GPU 하드웨어뿐만 아니라 인피니밴드 네트워크와 쿠다 기반 최적화 소프트웨어 스택을 하나로 묶어 파는 전략은 대단히 영리합니다. 다만 전 세계 AI 인프라가 특정 단일 기업의 공급망과 가격 정책에 전적으로 종속되는 구조적 리스크는 한층 더 짙어졌습니다.