MS, 엔비디아 H100 탑재 '애저 ND H100 v5' 정식 출시…오픈AI 서비스 지역도 확대

생성형 AI 패권 다툼은 겉으로는 똑똑한 모델 대결처럼 보이지만, 뒤에서는 데이터센터 컴퓨팅 파워를 쥐어짜는 인프라 전쟁이 한창입니다.

마이크로소프트는 8월 7일 엔비디아 H100 텐서 코어 GPU를 탑재한 Azure ND H100 v5 가상머신 시리즈를 공식 출시했습니다. 이와 동시에 Azure OpenAI 서비스의 글로벌 리전을 일본, 영국, 캐나다 등으로 대폭 넓혔습니다.

폭증하는 연산 수요에 맞춰 마이크로소프트가 클라우드 하부 구조를 본격적으로 확장하기 시작했습니다.

머신당 H100 8장 탑재, 네트워크 병목 해소

이번에 정식 출시된 ND H100 v5 VM은 초거대 모델 학습과 추론을 위해 철저하게 맞춤 설계된 고성능 인스턴스입니다.

단일 가상머신마다 엔비디아 H100 GPU 8장을 기본 탑재했고, 4세대 인텔 제온 스케일러블 프로세서와 DDR5 메모리를 조합했습니다.

호스트와 GPU 사이는 PCIe Gen5를 통해 GPU당 64GB/s 대역폭을 제공합니다. 노드 간 통신에는 엔비디아 Quantum-2 ConnectX-7 인피니밴드를 적용해 GPU당 400Gb/s, 머신당 총 3.2Tb/s에 달하는 대역폭을 확보했습니다.

성능 면에서는 이전 세대 FP16 대비 새로운 8비트 FP8 부동소수점 데이터 형식을 쓸 때 행렬 곱셈 연산 속도가 최대 6배 빨라졌습니다. BLOOM 175B 같은 대규모 언어 모델의 엔드투엔드 추론 속도 역시 최대 2배 향상되었습니다.

해당 VM은 현재 미국 동부와 미국 중남부 리전에서 우선 제공됩니다. 마이크로소프트는 현재 4K 규모의 최적화된 GPU 클러스터를 운용 중이며, 향후 1년 안에 최신 GPU를 수십만 대 규모로 늘릴 계획입니다.

하루 100개 기업 유입, 글로벌 거점 확대

하드웨어 공급과 발맞춰 Azure OpenAI 서비스의 글로벌 서비스 권역도 한층 넓어졌습니다.

새로 추가된 지역은 호주 동부, 캐나다 동부, 미국 동부 2, 일본 동부, 영국 남부입니다. 이를 통해 현지 기업들이 먼 해외 서버를 거치지 않고도 GPT-4와 GPT-35-Turbo 모델을 직접 호출할 수 있게 되었습니다.

고객사 증가 속도도 가파릅니다. Azure OpenAI 서비스 고객은 지난 발표 대비 3배 가까이 늘어나 11,000곳을 돌파했습니다. 이번 분기에는 하루 평균 100곳의 기업이 새로 합류하는 추세입니다.

메르세데스-벤츠가 차량 내 음성 인터페이스 고도화에 이 서비스를 도입했고, KPMG는 코딩과 업무 자동화에, 자율주행 스타트업 웨이브는 파운데이션 신경망 학습에 Azure 인프라를 쓰고 있습니다.

왜 중요한가

기업 개발팀 입장에서 이번 인프라 확대는 극심했던 고성능 GPU 품귀 현상과 해외 API 호출에 따른 지연 문제를 동시에 덜어주는 반가운 변화입니다.

특히 데이터가 해외로 반출되는 것을 꺼리는 금융, 공공, 제조 대기업들이 각 지역 리전에서 규제를 준수하며 GPT-4를 곧바로 시험해볼 수 있는 실질적인 길이 열렸습니다.

클라우드 시장 경쟁 구도에서도 마이크로소프트의 행보는 매우 위협적입니다. 경쟁사들이 인프라와 모델을 따로 분리해 대응하는 동안, 마이크로소프트는 엔비디아의 최신 하드웨어와 시장에서 가장 선호도가 높은 OpenAI 모델을 Azure라는 단일 엔터프라이즈 환경으로 묶어버렸습니다.

우리는 각국 현지 리전에 모델을 직접 배포해 규제 장벽을 정면 돌파하는 전략이 대단히 영리하다고 봅니다. 다만 향후 1년 내 수십만 대의 최신 GPU를 증설하겠다는 약속은 엔비디아의 부품 생산 능력과 현지 데이터센터 전력 수급 여건에 직접적인 영향을 받을 수밖에 없습니다.