OpenAI, 구글 TPU 도입 시작: 엔비디아 의존 줄이고 비용 절감

비즈니스 세계에 영원한 적은 없습니다. 천문학적인 컴퓨팅 비용 앞에서는 더욱 그렇습니다.

로이터가 사안에 정통한 소식통을 인용해 보도한 바에 따르면, OpenAI가 ChatGPT를 비롯한 자사 서비스를 구동하기 위해 Google의 TPU 칩을 임대해 사용하기 시작했습니다. 그동안 컴퓨팅 스택의 핵심 뼈대 역할을 해온 Nvidia 하드웨어에서 벗어난 OpenAI의 첫 번째 대규모 다변화 행보입니다.

매일 1억 명이 쓰는 서비스, 추론 비용을 낮춰라

이번 조치가 OpenAI가 Nvidia를 완전히 배제한다는 뜻은 아닙니다. 핵심 동력은 비용 절감입니다.

현재 ChatGPT는 매일 1억 명 이상의 활성 사용자에게 서비스를 제공하고 있습니다. 이로 인해 일상적인 추론 작업량이 폭발적으로 늘어났으며, 이는 OpenAI의 연간 추론 및 컴퓨팅 예산으로 추정되는 400억 달러 중 상당한 비중을 차지합니다.

OpenAI가 Google Cloud를 통해 빌려 쓰는 칩은 v6e '트릴리움' TPU로 알려졌습니다. Google의 최고 사양 훈련용 칩은 아니지만, 정상 상태 추론에 최적화되어 있어 최고급 GPU 대비 훨씬 저렴한 운영 비용으로 높은 처리량을 제공합니다.

이로써 Google Cloud의 외부 TPU 고객 명단에는 Apple, Anthropic, Safe Superintelligence에 이어 최대 경쟁자인 OpenAI까지 포함되게 되었습니다.

MS 의존도 완화와 CUDA라는 장벽

물론 OpenAI의 메인 인프라는 여전히 최대 투자자인 Microsoft Azure에 의존하고 있습니다.

하지만 지난 2년간 이어진 GPU 품귀 현상과 높은 가격 탓에 단일 벤더에 의존하는 위험성이 고스란히 드러났습니다. Google을 공급망에 추가함으로써 OpenAI는 연산 자원 확보의 안정성을 높이고 향후 가격 협상력도 쥘 수 있게 되었습니다.

문제는 소프트웨어 생태계입니다. 업계 전체가 오랫동안 Nvidia의 CUDA 툴체인에 깊숙이 묶여 있었기 때문에, OpenAI가 자체 스택을 TPU 환경에 얼마나 매끄럽고 깊이 있게 통합할 수 있을지는 아직 미지수입니다. 로이터에 따르면 Google은 공식 논평을 거부했고 OpenAI도 즉각적인 답변을 내놓지 않았습니다.

왜 중요한가

우리는 이번 거래가 AI 산업의 경쟁 축이 대규모 훈련에서 일상적인 추론 효율화로 완전히 이동했음을 보여주는 결정적 신호라고 봅니다.

모델 훈련은 일회성 대형 투자에 가깝지만, 하루 1억 명이 넘는 사용자를 응대하는 추론은 매일 빠져나가는 운영비입니다. 토큰당 서비스 단가를 단 몇 센트라도 낮추지 못하면 장기적인 사업성을 유지하기 어렵습니다.

또한 난공불락으로 여겨지던 Nvidia 중심 하드웨어 생태계에 균열이 생기기 시작했다는 점에서도 의미가 큽니다. 상징적인 선두 주자인 OpenAI마저 TPU를 도입한 만큼, 다른 유니콘들도 추론 비용을 아끼기 위해 대체 칩 채택을 가속화할 가능성이 높습니다. Google 입장에서는 경쟁사 모델을 자사 인프라 위에 올려 수익을 챙기는 실속 있는 승리를 거둔 셈입니다.

OpenAI가 경쟁자의 칩을 빌려 파트너사인 Microsoft와 칩 공급사인 Nvidia를 동시에 견제하는 전략은 영리해 보입니다. 다만 다중 칩 환경을 유지하면서 겪어야 할 소프트웨어 최적화 부담과, 거대 빅테크 사이에서 아슬아슬하게 줄을 타야 하는 운영상의 리스크는 여전히 만만치 않은 대가로 남습니다.