AMD, MI300 AI 칩 공개: H100 추론 성능 넘어서며 엔비디아에 도전장

지난 1년간 대규모 AI 모델을 다루는 기업들의 가장 큰 고민은 엔비디아 H100 GPU를 제때 구하지 못한다는 점이었습니다. AMD가 마침내 이 독점 구도를 흔들 강력한 카드를 꺼내 들었습니다.

AMD는 대규모 언어 모델(LLM) 훈련 및 추론을 위한 최신 가속기 '인스팅트 MI300X'와 데이터센터용 APU 'MI300A'를 공식 발표했습니다. 여기에 AI 기능을 내장한 노트북용 모바일 프로세서 '라이젠 8040' 시리즈까지 함께 공개하며 AI 칩 시장 공세에 나섰습니다.

라마 2 추론서 H100 대비 40% 앞선 성능

이번 발표의 핵심은 단연 인스팅트 MI300X 가속기였습니다. AMD에 따르면 MI300X는 이전 세대인 MI250X 대비 1.5배 늘어난 메모리 용량을 갖췄으며 전력 효율도 크게 개선됐습니다.

리사 수 AMD CEO는 MI300X가 현존하는 최고 성능의 가속기라고 강조했습니다. LLM 훈련 성능은 엔비디아 H100과 대등하지만, 추론 영역에서는 H100을 능가한다는 설명입니다. 실제로 메타의 700억 개 매개변수 모델인 라마 2 환경에서 H100보다 1.4배 빠른 추론 속도를 보였다고 밝혔습니다.

빅테크 고객사들의 반응도 빨랐습니다. 마이크로소프트의 케빈 스콧 CTO가 현장에 참석해 애저 ND MI300X 가상머신 프리뷰를 공개했으며, 메타 역시 자체 데이터센터에 MI300 시리즈를 도입한다고 발표했습니다.

데이터센터용 APU부터 AI 노트북까지 전방위 공세

AMD는 CPU와 GPU를 하나로 결합한 데이터센터용 APU인 MI300A도 선보였습니다. 통합 메모리 아키텍처를 적용해 칩 간 데이터 전송 지연을 없앤 것이 특징입니다.

AMD는 MI300A가 H100 대비 1.6배의 메모리 용량과 최대 30배 높은 에너지 효율을 제공한다고 밝혔습니다. 현재 양산에 들어간 이 칩은 로렌스 리버모어 국립연구소에 구축 중인 2엑사플롭스급 슈퍼컴퓨터 '엘 카피탄'에 탑재됩니다. 가격은 공개되지 않았으나 리사 수 CEO는 해당 시장 규모를 450억 달러 수준으로 내다봤습니다.

PC 시장을 겨냥한 라이젠 8040 시리즈도 공개됐습니다. NPU를 탑재해 이전 모델 대비 1.6배 향상된 AI 연산 능력을 갖췄으며, 에이서, 에이수스, 델, HP, 레노버 등 주요 제조사가 2024년 1분기부터 완제품을 선보일 예정입니다. 아울러 위스퍼와 라마 2를 지원하는 라이젠 AI 소프트웨어 플랫폼도 공개됐습니다.

왜 중요한가

AI 인프라를 운영하는 기업과 개발자에게 이번 발표는 엔비디아의 독점 가격 정책과 공급난을 피할 수 있는 가장 확실한 대안이 등장했다는 점에서 의미가 큽니다. 당장 애저 클라우드를 통해 대형 모델 추론 비용을 비교 테스트해볼 수 있는 기회가 열렸습니다.

업계 전반으로 보면 마이크로소프트와 메타 같은 초대형 고객사들이 발 빠르게 AMD 진영에 힘을 실어주기 시작했습니다. 이들은 AI 인프라 생태계가 엔비디아 하나에 좌지우지되는 구조를 벗어나길 원하고 있습니다.

우리는 AMD의 공략 방식이 매우 영리했다고 평가합니다. CUDA 생태계가 견고한 훈련 영역에 무리하게 올인하기보다, 앞으로 기업들의 실제 지출이 집중될 추론 성능과 대용량 메모리를 집중 공략했기 때문입니다. 다만 뛰어난 하드웨어 스펙에도 불구하고 소프트웨어 최적화 수준이 엔비디아를 얼마나 따라잡을 수 있을지가 실질적인 전환율을 결정할 것입니다.