MS, AI 추론 가속기 '마이아 200' 공개…비용 대비 성능 30% 개선

빅테크 기업들이 엔비디아에 천문학적인 돈을 쏟아부으며 AI 인프라를 구축해 왔지만, 결국 매일 쏟아져 나오는 수십억 개의 토큰 생성 비용을 줄이지 못하면 수익성은 요원합니다. 1월 26일, 마이크로소프트가 이 문제를 정면으로 겨냥한 2세대 자체 AI 추론 가속기 '마이아 200'을 공개했습니다.

마이아 200은 TSMC의 최신 3나노 공정으로 제작되었으며, 750W의 SoC 전력 한도 안에서 1400억 개 이상의 트랜지스터를 집적했습니다. 저정밀도 연산에 최적화되어 FP4 기준 10페타플롭스 이상, FP8 기준 5페타플롭스 이상의 성능을 냅니다.

마이크로소프트는 경쟁사 하드웨어와의 수치 비교도 숨기지 않았습니다. 마이아 200의 FP4 연산 성능은 아마존의 3세대 트레이니엄 대비 3배에 달하며, FP8 성능은 구글의 7세대 TPU를 넘어섭니다. 현재 애저 인프라에 배치된 최신 하드웨어와 비교해도 달러당 성능이 30% 개선되었습니다.

메모리 병목과 이더넷 확장에 집중한 설계

대규모 언어 모델 추론에서 연산 칩의 발목을 잡는 것은 결국 메모리 병목 현상입니다. 마이아 200은 이 문제를 풀기 위해 데이터 이동 엔진을 완전히 뜯어고쳤습니다.

칩당 216GB의 HBM3e 메모리를 탑재해 7TB/s의 대역폭을 확보했고, 다이 내부에는 272MB의 온칩 SRAM을 넣었습니다. 여기에 전용 DMA 엔진과 NoC 패브릭을 결합해 대형 모델 구동 시 칩이 데이터를 기다리며 공회전하는 시간을 대폭 줄였습니다.

네트워크 확장 방식도 실용적입니다. 값비싼 독자 규격 대신 표준 이더넷을 기반으로 맞춤형 전송 프로토콜을 올린 2계층 스케일업 설계를 채택했습니다. 트레이 하나에 들어가는 마이아 가속기 4개는 별도 스위치 없이 직접 연결되며, 칩당 2.8TB/s의 양방향 대역폭을 제공하면서 최대 6144개 가속기 클러스터까지 매끄럽게 확장됩니다.

냉각 시스템은 2세대 폐쇄형 액체 냉각 열교환 장치를 적용했습니다. 칩 생산 전 소프트웨어와 시스템을 동시에 검증하는 환경을 탄탄히 다져놓은 덕분에, 패키징된 첫 칩을 받은 지 며칠 만에 모델을 올렸고 데이터센터 랙 배치까지 걸리는 시간을 절반 이상 단축했다고 밝혔습니다.

마이아 200은 이미 미국 아이오와주 디모인 인근의 US Central 데이터센터에 배치되었으며, 다음으로는 애리조나주 피닉스 인근의 US West 3 리전에 투입될 예정입니다. 오픈AI의 최신 GPT-5.2 모델 추론을 전담하며 마이크로소프트 365 코파일럿과 애저 파운드리를 뒷받침하게 됩니다. 또한 사내 슈퍼인텔리전스 팀의 합성 데이터 생성과 강화학습에도 쓰입니다. 파이토치 지원과 트라이톤 컴파일러가 포함된 마이아 SDK 프리뷰 신청도 시작되었습니다.

왜 중요한가

생성형 AI의 승부처가 모델 개발에서 대규모 서비스 운영으로 넘어가면서, 토큰 생성의 경제성이 플랫폼의 성패를 가르고 있습니다. 마이아 200의 출시는 하이퍼스케일러의 자체 실리콘 투자가 본격적인 비용 회수 단계로 진입했음을 보여줍니다.

애저 기반으로 서비스를 구축하는 기업과 개발자에게 이번 변화는 실질적인 비용 절감으로 다가올 가능성이 큽니다. 일반 이용자가 백엔드 칩셋의 변경을 체감하긴 어렵지만, 달러당 30%의 성능 개선은 향후 API 가격 안정성과 대규모 트래픽 발생 시 응답 지연을 방어하는 핵심 버팀목이 됩니다. 특히 트라이톤 컴파일러와 파이토치를 기본 지원하므로 기존 엔비디아 기반 코드베이스를 마이아로 옮기는 작업의 기술적 장벽도 생각보다 낮아 보입니다.

산업적 관점에서도 마이크로소프트의 선택은 영리합니다. 학습용 시장에서 엔비디아와 정면 승부를 벌이기보다는, 인프라 운영 비용의 대부분을 차지하는 추론 시장에 TSMC 3나노 자원을 집중했습니다. 여기에 비싼 전용 패브릭 대신 표준 이더넷 기반의 클러스터링을 택해 전체 소유 비용(TCO)을 철저히 낮췄습니다.

결국 관건은 프로덕션 환경에서의 소프트웨어 신뢰성입니다. 아무리 벤치마크 숫자가 뛰어나도 수억 명이 동시에 사용하는 엔터프라이즈 환경에서 드라이버나 자체 이더넷 프로토콜의 안정성이 흔들리면 의미가 퇴색됩니다. 아이오와와 애리조나 데이터센터에서 마이아 200이 실제 대규모 트래픽을 얼마나 안정적으로 소화해내느냐가 마이크로소프트 자체 칩 전략의 성패를 판가름할 것입니다.