구글 클라우드, 5세대 TPU 발표: 비용 대비 성능 최대 2.5배 향상

모두가 엔비디아 GPU 수급에 매달리는 사이, 구글이 자체 하드웨어 카드를 꺼내들었습니다.

구글 클라우드는 연례 콘퍼런스인 Cloud Next에서 AI 학습과 추론을 위한 5세대 자체 개발 칩 TPU를 공식 발표했습니다.

구글은 2021년에 4세대 TPU를 공개했으나 개발자가 실제로 쓸 수 있게 된 것은 2022년이었습니다. 이번 5세대는 철저하게 효율성에 초점을 맞췄습니다.

달러당 성능 2배 이상, 수만 개 칩 확장 지원

이번 발표의 핵심은 비용 대비 성능입니다.

이전 세대와 비교해 1달러당 학습 성능은 2배, 추론 성능은 2.5배 향상됐습니다.

구글 클라우드의 컴퓨트 및 머신러닝 인프라 총괄인 마크 로메이어 부사장은 지금까지 나온 클라우드 TPU 중 가장 비용 효율적이고 접근하기 쉬운 제품이라고 강조했습니다.

확장성 측면에서도 큰 변화가 있었습니다.

기존에는 단일 TPU 포드나 물리적 클러스터의 한계에 묶여 있었지만, 이제는 단일 대규모 AI 작업을 여러 물리 클러스터에 걸쳐 수만 개 칩 규모로 확장해 실행할 수 있게 됐습니다.

아울러 구글은 엔비디아의 H100 GPU를 다음 달 자사 A3 가상머신 시리즈를 통해 정식 출시한다고 밝혔습니다.

왜 중요한가

초거대 AI를 다루는 개발팀과 기업에게 연산 비용 절감은 생존과 직결된 문제입니다. 달러당 성능이 2배에서 2.5배 높아졌다는 것은 동일한 예산으로 더 빠르게 모델을 학습시키거나 서비스 배포 단가를 대폭 낮출 수 있음을 뜻합니다.

특히 물리적 경계를 넘어 수만 개 칩으로 작업을 분산할 수 있는 스케일링 기능은 초대형 파운데이션 모델을 훈련하는 팀에게 매력적인 대안이 됩니다.

우리는 구글이 5세대 TPU로 자체 칩 역량을 과시하는 동시에, 다음 달 엔비디아 H100까지 정식 제공하며 투트랙 전략을 취한 점이 영리하다고 봅니다. 엔비디아 의존도를 줄이면서도 기존 CUDA 생태계 고객의 이탈을 막겠다는 계산입니다.

다만 TPU가 아무리 가성비가 뛰어나도, 이미 엔비디아 개발 도구에 익숙해진 엔지니어들을 얼마나 수월하게 끌어올 수 있을지가 향후 보급의 관건이 될 것으로 보입니다.