구글, 8세대 TPU 공개: 학습용 '8t'와 추론용 '8i'로 에이전트 시대 정조준

AI 모델을 학습시키는 일과 복잡한 자율형 에이전트를 실시간으로 구동하는 일은 하드웨어에 요구하는 조건이 완전히 다릅니다. 하지만 지금까지 클라우드 업계는 대체로 단일 칩 라인업으로 두 영역을 모두 감당해 왔습니다.

열린 Google Cloud Next 행사에서 Google은 자사 8세대 텐서 프로세서(TPU)를 공개하며 새로운 승부수를 던졌습니다. 이번 세대부터는 칩을 두 개로 쪼개어, 모델 학습에 특화된 TPU 8t와 추론 및 에이전트 작업에 맞춘 TPU 8i를 각각 선보였습니다.

Google DeepMind와 긴밀하게 협력해 설계한 두 칩은 올해 말 정식 출시될 예정입니다.

100만 칩 확장의 8t, 메모리 병목 깬 8i

학습용인 TPU 8t는 프론티어 모델의 개발 주기를 수개월에서 수주 단위로 줄이는 데 집중했습니다. 단일 슈퍼포드에 9600개의 칩과 2PB 규모의 공유 고대역폭 메모리를 탑재해 121 엑사플롭스(ExaFlops)의 연산력을 냅니다. 이전 세대인 Ironwood 대비 포드당 연산 성능이 3배 가까이 올랐습니다.

대규모 클러스터의 최대 적인 중단 문제를 잡기 위해, 하드웨어 장애를 자동으로 감지해 작업을 멈추지 않고 우회하는 광회선 스위칭(OCS) 기반 복구 설계를 더했습니다. 이를 통해 유효 연산 시간 비율을 97% 이상으로 끌어올렸으며, 새로운 Virgo 네트워크를 통해 단일 논리 클러스터에서 최대 100万 개 칩까지 거의 선형에 가까운 확장이 가능하다고 밝혔습니다.

반면 추론 전용인 TPU 8i는 에이전트 간 협업에서 발생하는 지연 시간을 없애는 데 초점을 맞췄습니다. 288GB HBM에 더해 전작보다 3배 늘어난 384MB 온칩 SRAM을 넣어, 추론 과정의 KV 캐시와 활성 작업 데이터를 칩 내부에서 바로 처리하도록 했습니다.

또한 서버 호스트로 Google의 자체 Arm 프로세서인 Axion CPU를 도입했고, MoE 모델을 위해 인터커넥트 대역폭을 19.2Tb/s로 두 배 늘렸습니다. 온칩 지연 시간을 최대 5분의 1로 줄인 결과, 비용 대비 성능이 전작 대비 80% 개선되어 동일 비용으로 두 배 가까운 트래픽을 감당할 수 있다는 설명입니다.

현재 시타델 시큐리티즈(Citadel Securities) 등이 도입을 준비 중이며, JAX뿐만 아니라 PyTorch, vLLM, SGLang 등 주요 오픈소스 프레임워크와 베어메탈 접근을 기본 지원합니다.

그렇다고 엔비디아와의 협력이 끝난 것은 아닙니다. 테크크런치에 따르면 Google 클라우드는 올해 말 엔비디아의 최신 베라 루빈(Vera Rubin) 칩 역시 제공할 예정이며, 오픈소스 네트워크 기술인 Falcon에서도 협력을 이어가고 있습니다. 칩 시장 분석가 패트릭 무어헤드(Patrick Moorhead)는 X를 통해 2016년 1세대 TPU 등장 당시 엔비디아가 타격을 입을 것이라 예측했으나 현재 엔비디아 몸값은 5조 달러에 육박하고 있다며 농담 섞인 소회를 남기기도 했습니다.

왜 중요한가

AI가 단순 질의응답을 넘어 여러 단계를 스스로 판단하는 에이전트 체제로 넘어가면서, 기업들의 실제 비용 부담은 대부분 추론 인프라에서 발생하고 있습니다. TPU 8i가 내세운 80%의 가격 대비 성능 개선은 서비스 운영 단위에서 매우 직접적인 숫자입니다. 이미 vLLM이나 SGLang 기반으로 파운데이션 모델을 서빙하고 있는 팀이라면, 연말 출시 이후 테스트해 볼 가치가 충분합니다.

우리는 Google이 범용성에 대한 미련을 버리고 실리콘 단계에서 학습과 추론을 완전히 분리한 선택이 매우 영리하다고 봅니다. 조 단위 파라미터 학습에 필요한 극단적 확장성과, 에이전트 상호작용에 필요한 온칩 캐시 중심 저지연 설계는 애초에 한 칩에서 완벽히 양립하기 어렵기 때문입니다.

물론 엔비디아가 장악한 거대한 CUDA 생태계를 단숨에 흔들기는 어렵습니다. Google이 여전히 베라 루빈 도입을 병행하는 것도 그 때문입니다. 하지만 자체 Arm CPU, 전용 네트워크, 딥마인드의 최적화가 맞물린 풀스택 하드웨어를 갖춤으로써, Google은 최소한 자사 클라우드 영역 안에서 엔비디아에 휘둘리지 않을 강력한 자체 대안을 완성해 가고 있습니다.