구글, 추론 특화 7세대 TPU '아이언우드' 공개

AI 모델이 답변하기 전에 스스로 생각하고 검증하는 추론 모델 시대에 접어들면서, 테크 기업들의 가장 큰 고민은 폭증하는 추론 연산 비용이 되었습니다.

구글이 Google Cloud Next 25에서 공개한 7세대 텐서 처리 장치(TPU) Ironwood는 바로 이 지점을 정조준했습니다. 구글이 '추론 시대를 위해 설계된 최초의 TPU'라고 공식 규정한 칩으로, 올해 말 출시될 예정입니다.

순다르 피차이 CEO는 첫 상용 TPU 대비 성능이 3,600배, 에너지 효율은 29배 향상되었다고 강조했습니다.

메모리 병목을 뚫어낸 사양

복잡한 사고 과정을 거치는 추론형 모델과 혼합 전문가(MoE) 아키텍처는 막대한 계산량뿐 아니라 칩 내부와 칩 사이의 데이터 전송 속도를 극한까지 요구합니다.

Ironwood는 칩당 192 GB의 고대역폭 메모리(HBM)를 탑재했습니다. 직전 6세대 칩인 Trillium 대비 무려 6배 늘어난 용량입니다. HBM 대역폭 또한 4.5배 증가한 초당 7.37 TB에 달합니다.

칩 간 상호 연결(ICI) 대역폭은 양방향 초당 1.2 TB로 1.5배 개선되었습니다. 대규모 추천 및 순위 지정 워크로드에 쓰이는 임베딩을 가속하기 위해 SparseCore 역시 강화되었습니다.

슈퍼컴퓨터 24배 규모의 9,216개 칩 클러스터

구글 클라우드 고객을 위해 Ironwood는 256개 칩 구성과 9,216개 칩 구성 두 가지 형태로 제공됩니다.

액체 냉각 방식이 적용된 9,216개 칩 파드는 약 10 MW의 전력을 소비하며 최대 42.5 엑사플롭스(Exaflops)의 연산 능력을 냅니다. 세계 최고 성능의 슈퍼컴퓨터인 엘 카피탄(1.7 엑사플롭스)의 24배를 넘어서는 연산량입니다. 개별 칩 하나의 최고 연산 성능은 4,614 TFLOPs입니다.

이러한 성능 확장에도 전력 효율은 전작 대비 큰 폭으로 개선되었습니다. Ironwood의 와트당 성능은 Trillium 대비 2배 향상되었으며, 2018년에 나온 1세대 클라우드 TPU와 비교하면 약 30배 높은 수준입니다.

왜 중요한가

우리는 Ironwood가 빅테크 간 AI 하드웨어 경쟁의 중심축이 대규모 학습에서 일상적인 대규모 추론으로 완전히 옮겨갔음을 보여주는 결정적 신호라고 봅니다.

구글은 이미 5억 명 이상이 사용하는 자사 15개 핵심 제품 전반에 제미나이 모델을 적용했습니다. 외부 범용 GPU에만 의존해서는 이 막대한 동시 접속 추론 비용을 감당하기 어렵습니다. 칩당 192 GB에 달하는 대용량 메모리는 거대 MoE 모델을 여러 칩으로 쪼갤 때 발생하는 통신 병목을 크게 덜어줍니다.

개발자와 기업 고객 입장에서는 올해 말 구글 클라우드를 통해 대형 복합 모델을 훨씬 합리적인 비용과 짧은 지연 시간으로 서비스할 수 있는 계기가 될 것입니다.

다만 구글 생태계 종속은 여전히 뚜렷한 한계입니다. Ironwood의 역량을 온전히 활용하려면 구글 딥마인드가 개발한 Pathways 런타임 등 전용 스택을 거쳐야 하므로, 멀티 클라우드를 지향하는 기업에는 엔비디아 기반 인프라보다 유연성이 떨어질 수밖에 없습니다.