구글, 6세대 '트릴리움 TPU' 정식 출시: 제미나이 2.0 학습시킨 AI 칩

모두가 엔비디아의 차세대 GPU 물량을 확보하느라 긴 대기열에 서 있는 사이, 구글이 오랫동안 갈고닦은 자체 AI 칩을 마침내 외부에 전면 개방했습니다.

구글은 6세대 맞춤형 텐서 처리 장치인 Trillium(TPU v6e)을 구글 클라우드 고객을 대상으로 정식 출시(GA)했다고 발표했습니다. 이 칩은 구글이 얼마 전 공개한 차세대 플래그십 AI 모델인 Gemini 2.0을 학습시키는 데 실제로 사용된 핵심 인프라입니다.

이제 스타트업과 일반 기업도 구글 내부 연구진과 동일한 인프라를 대여해 쓸 수 있게 되었습니다.

대규모 클러스터에서도 꺾이지 않는 확장 효율

이전 세대 보급형 칩인 Cloud TPU v5e와 비교하면 하드웨어 사양 향상이 두드러집니다. 칩당 연산 성능은 최대 4.7배 증가했고, 고대역폭 메모리(HBM) 용량과 칩 간 상호 연결 대역폭은 2배로 늘어났으며 에너지 효율은 67% 개선되었습니다.

하지만 Trillium의 진짜 강점은 칩을 수천 개 묶었을 때 나타나는 확장성에 있습니다.

구글은 자체 주피터(Jupiter) 네트워크 패브릭을 통해 단일 패브릭 안에 10만 개 이상의 Trillium 칩을 연결할 수 있도록 설계했습니다. 이때 양분 대역폭은 초당 13페타비트에 달합니다.

실제 벤치마크에 따르면 1750억 개 매개변수 규모의 거대 언어 모델을 학습시킬 때, 3072개 칩을 묶은 환경에서 99%라는 선형 확장 효율을 기록했습니다. 칩 수를 6144개로 늘려도 확장 효율은 94%를 유지했습니다.

또한 호스트 DRAM 용량을 기존 대비 3배로 늘려 대용량 데이터를 호스트로 오프로드할 수 있게 지원합니다. 이를 통해 4050억 개 매개변수를 가진 Llama 3.1을 학습할 때 하드웨어 연산 활용도(MFU)를 50% 이상 끌어올렸습니다.

학습부터 추론, 추천 알고리즘까지 전방위 지원

최근 대세로 자리 잡은 전문가 혼합(MoE) 구조의 모델 학습에서도 Trillium은 v5e 대비 최대 3.8배 빠른 속도를 보였습니다.

운영 비용과 직결되는 추론 영역에서도 눈에 띄는 진전이 있습니다. 이미지 생성 모델인 Stable Diffusion XL 추론 처리량은 v5e 대비 3배 이상 늘어났고, Llama 2 모델의 초당 토큰 처리량도 2배 가까이 증가했습니다.

여기에 임베딩 처리에 특화된 3세대 SparseCore를 탑재하여 DLRM DCNv2 같은 추천 시스템 성능을 최대 5배 향상시켰습니다. 이미 AI21 Labs 같은 글로벌 모델 개발사들이 자체 차세대 언어 모델인 Jamba 개발에 Trillium을 전면 도입했습니다.

왜 중요한가

GPU 부족과 치솟는 클라우드 청구서로 고민하던 AI 개발팀에게 Trillium의 상용화는 즉각적인 대안이 됩니다. 비용 대비 성능 지표에서 기존 대비 학습은 최대 2.5배, 추론은 최대 1.4배 개선되었기 때문에 대규모 파인튜닝이나 대량 추론 워크로드를 운영 중인 기업이라면 지금 즉시 테스트해 볼 가치가 충분합니다.

산업 전반으로 보면 엔비디아의 CUDA 생태계 독점에 균열을 내려는 구글의 가장 강력한 한 수로 보입니다. 구글은 XLA 컴파일러를 다듬고 JAX뿐만 아니라 PyTorch 지원을 대폭 강화함으로써, 그동안 개발자들이 TPU로 넘어오지 못하게 막았던 소프트웨어 장벽을 실질적으로 허물고 있습니다.

하드웨어 단품이 아니라 칩, 고속 패브릭, 호스트 오프로딩, GKE 스케줄러를 한 덩어리로 묶어낸 엔지니어링 접근은 매우 영리하다고 평가할 수 있습니다. 다만 Trillium 클러스터의 특수 구조에 워크로드를 깊게 최적화할수록 구글 클라우드를 벗어나기 어려워지는 벤더 종속성 위험은 여전히 존재합니다. 단기적인 가성비 확보와 장기적인 멀티 클라우드 유연성 사이에서 명확한 득실 계산이 필요합니다.