구글, 8세대 TPU 신규 시스템 ‘TPU 8tx·8i Max’ 공개

반도체 업계에서 신규 하드웨어가 나오는 데 보통 수년이 걸리던 주기와 달리, 구글은 8세대 TPU 라인업에서 단 1년 만에 4개의 시스템 구성을 선보이며 속도전에 나섰습니다.

이번에 공개된 제품은 ‘TPU 8tx’와 ‘TPU 8i Max’입니다. 완전히 새로운 칩 설계를 도입한 것이 아니라, 기존의 8세대 실리콘을 기반으로 패키징, 상호연결 네트워크, 메모리 배치를 다르게 조합한 시스템입니다. 구글은 이를 AI 에이전트 시대의 다양한 요구에 맞춘 모듈형 접근 방식이라고 설명합니다.

기밀 연산을 잡은 8tx, 메모리 병목을 뚫은 8i Max

먼저 TPU 8tx는 민감한 데이터를 다루는 금융, 공공기관 등 규제 산업군을 정조준한 기밀 컴퓨팅 특화 시스템입니다.

일반적으로 데이터는 저장되거나 전송될 때는 암호화되지만, 메모리에 적재되어 프로세서가 실제로 연산하는 순간에는 복호화되어 노출 위험에 놓입니다. TPU 8tx는 이 간극을 메워 데이터와 모델 가중치가 연산 처리 중에도 암호화 및 격리 상태를 유지하도록 설계되었습니다. 이는 엔비디아가 자사 GPU 아키텍처를 통해 제공하는 기밀 컴퓨팅과 유사한 기능입니다.

네트워크 측면에서는 실시간 추론용으로 개발된 ‘보드플라이(Boardfly)’ 저지연 인터커넥트를 적용해, 기존 TPU 8t 대비 지연 시간을 최대 절반 수준으로 줄였다고 밝혔습니다. 이를 통해 기업들은 서로 다른 클러스터로 민감한 데이터를 옮기지 않고도 단일 시스템 안에서 모델 파인튜닝, 모델 증류, 강화학습 기반의 에이전트 훈련까지 안전하게 수행할 수 있습니다.

반면 TPU 8i Max는 AI 에이전트의 최대 난제인 메모리 대역폭 한계를 정면으로 다룹니다.

에이전트가 방대한 코드베이스를 분석하거나 장시간 분량의 영상을 처리하고 100만 토큰에 달하는 긴 문맥을 다룰 때, 메모리 대역폭은 성능의 가장 큰 병목이 됩니다. 구글은 단일 패키지 안에 TPU 8i 칩 2개를 통합하는 방식으로 문제를 해결했습니다.

그 결과 동일한 랙 규격 내에서 연산 성능과 메모리 용량, 메모리 대역폭이 모두 2배로 증가해 데이터센터 면적당 처리 밀도를 크게 높였습니다.

모듈형 하드웨어와 파이토치 생태계 흡수

칩 자체를 처음부터 새로 설계하는 데 수년을 쓰는 대신, 기존 실리콘을 바탕으로 패키징과 네트워크를 유연하게 재배치함으로써 구글은 에이전트 환경의 변화에 맞춰 몇 달 만에 맞춤형 하드웨어를 내놓을 수 있게 되었습니다.

하드웨어뿐 아니라 개발 장벽을 낮추기 위한 소프트웨어 정비도 병행하고 있습니다. 구글은 오픈소스 도구인 TorchTPU를 공개해 파이토치 코드를 거의 수정하지 않고도 TPU에서 실행할 수 있도록 지원하며, 널리 쓰이는 vLLM과 SGLang 같은 추론 프레임워크와의 호환성도 확보했습니다.

이러한 행보는 TPU를 내부 전용 도구에서 벗어나 외부 고객을 위한 경쟁력 있는 플랫폼으로 키우겠다는 전략의 일환입니다. 현재 구글의 외부 TPU 고객사는 100곳에 육박하고 있습니다.

왜 중요한가

보안과 규제가 엄격한 기업 고객에게는 민감한 데이터 유출 우려 없이 모델을 커스텀할 수 있는 현실적인 선택지가 열렸습니다. 동시에 초장문 문맥과 멀티모달 에이전트를 개발하는 팀에게는 랙당 집적도가 뛰어난 고대역폭 메모리 인프라를 활용할 기회가 제공됩니다.

업계 관점에서는 AI 하드웨어 경쟁의 중심축이 천문학적인 비용이 드는 사전 훈련에서 일상적인 추론과 서비스 운영으로 확연히 옮겨가고 있음을 보여줍니다. 모델을 지속해서 구동하는 환경에서는 특정 작업에 최적화된 전용 ASIC이 범용 GPU보다 뛰어난 비용 대비 성능을 내기 유리합니다. 마이크로소프트, 아마존, 오픈AI가 자체 가속기 개발에 속도를 내고, 엔비디아가 그록(Groq)과의 라이선스 및 인재 영입으로 추론 부문 강화에 나선 이유도 여기에 있습니다.

우리는 기존 실리콘을 레고 블록처럼 재구성해 에이전트 시대의 병목을 빠르게 공략하는 구글의 방식이 비용과 개발 속도 면에서 매우 영리하다고 평가합니다. 다만 관건은 여전히 소프트웨어 생태계입니다. 파이토치와 vLLM 호환 도구를 내놓았더라도, 오랜 시간 굳어진 엔비디아의 CUDA 생태계를 넘어 개발자들을 얼마나 안착시킬 수 있을지가 상용화의 최종 시험대가 될 것입니다.