엔비디아, HBM3e 탑재 차세대 'H200' GPU 공개

거대언어모델을 운영할 때 진짜 발목을 잡는 것은 단순한 연산 성능 부족보다 메모리 용량과 대역폭의 한계입니다.

NVIDIA가 SC23 행사에서 Hopper 아키텍처를 기반으로 한 신형 AI 가속기 HGX H200을 공개했습니다. 엔터프라이즈 GPU 가운데 처음으로 차세대 고대역폭 메모리인 HBM3e를 탑재한 제품입니다.

메모리 병목을 뚫어낸 핵심 제원

H200은 141GB 용량의 HBM3e 메모리를 탑재해 초당 4.8TB의 대역폭을 뿜어냅니다. 이전 세대인 A100과 비교하면 용량은 거의 두 배, 대역폭은 2.4배 수준으로 늘어났습니다.

메모리가 넓고 빨라지면서 대규모 모델 추론 효율이 눈에 띄게 개선되었습니다. 700억 개 매개변수를 지닌 Llama 2 모델의 추론 속도는 기존 H100 대비 두 배 가까이 빨라집니다.

1750억 개 이상의 매개변수를 가진 초대형 모델을 다루기 위한 8웨이 HGX H200 구성은 32페타플롭스 이상의 FP8 딥러닝 연산 성능과 총 1.1TB의 고대역폭 메모리를 한 번에 제공합니다.

데이터센터 인프라 관점에서도 교체 부담이 적습니다. HGX H200은 기존 HGX H100 시스템과 하드웨어 및 소프트웨어 모두 완벽하게 호환되도록 설계되어 기존 랙 구성을 그대로 활용할 수 있습니다.

제품 출하는 2024년 2분기에 시작될 예정입니다. AWS, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처 등 주요 글로벌 클라우드 기업들이 선도적으로 도입을 준비하고 있습니다.

왜 중요한가

이번 H200 출시는 생성형 AI 업계의 최대 난제인 추론 단가와 메모리 벽을 영리하게 파고든 전략이라고 평가합니다.

개발자와 기업 입장에서는 모델 파티셔닝 부담을 덜고 동일한 전력과 공간에서 처리량을 두 배로 늘려 토큰당 서비스 원가를 낮출 수 있습니다. 다만 정식 출하 시점이 2024년 2분기인 만큼, 당장 컴퓨팅 자원이 급한 조직은 여전히 H100 수급 상황을 지켜봐야 합니다.

업계 경쟁 구도에서는 H100을 따라잡으려던 경쟁사들의 진입 장벽을 한층 더 높였습니다. 기존 서버 섀시를 그대로 쓸 수 있게 만들어 클라우드 고객사가 다른 칩셋으로 눈을 돌릴 틈을 주지 않는 효과를 냅니다.

결국 관건은 공급망 안정성입니다. HBM3e 공급과 첨단 패키징 물량이 폭발적인 수요를 제때 뒷받침하지 못한다면, 시장의 품귀 현상이 장기화될 수 있다는 점이 잠재적 위험 요소로 보입니다.