허깅페이스, 구글 클라우드 TPU v5e 도입: 시간당 1.38달러부터

클라우드에서 오픈소스 AI 모델을 구동할 때 개발자들의 기본 선택지는 늘 엔비디아 GPU였습니다. 하지만 이제 허깅페이스에서 클릭 몇 번으로 선택할 수 있는 새로운 대안이 생겼습니다.

허깅페이스는 구글 클라우드의 맞춤형 AI 칩인 TPU v5e를 자체 서비스인 인퍼런스 엔드포인트와 스페이스에 공식 도입했다고 발표했습니다. 복잡한 클라우드 인프라 설정 없이도 구글의 자체 하드웨어에서 모델을 즉시 호스팅할 수 있게 된 것입니다.

시간당 1.38달러부터 시작하는 세 가지 사양

이번에 제공되는 하드웨어는 구글 TPU v5e입니다. 인퍼런스 엔드포인트에서 구글 클라우드 플랫폼을 선택하고 us-west1 리전을 지정하면 세 가지 인스턴스 구성을 이용할 수 있습니다.

가장 기본인 v5litepod-1은 1개 코어와 16GB 메모리를 제공하며 가격은 시간당 1.375달러입니다. 20억 개 파라미터(2B) 이하의 가벼운 모델을 무리 없이 실행할 수 있는 수준입니다.

더 큰 모델을 위한 v5litepod-4는 4개 코어와 64GB 메모리로 시간당 5.50달러이며, 메모리 부족을 방지하기 위해 중대형 모델에 권장됩니다. 최상위 구성인 v5litepod-8은 8개 코어와 128GB 메모리를 갖추고 시간당 11.00달러에 제공되며 지연 시간을 가장 낮출 수 있습니다.

AI 데모를 쉽게 배포하고 공유하는 허깅페이스 스페이스에서도 동일한 사양이 지원됩니다. 기존 스페이스의 설정 메뉴에서 원하는 TPU 구성을 선택하기만 하면 바로 업그레이드됩니다.

소프트웨어 장벽을 낮춘 옵티멈 TPU

하드웨어가 있더라도 소프트웨어 호환성이 문제였지만, 양사는 이를 해결하기 위해 오픈소스 라이브러리인 Optimum TPU를 함께 선보였습니다.

인퍼런스 엔드포인트는 Optimum TPU와 텍스트 생성 추론(TGI) 프레임워크를 결합하여 개발자가 복잡한 설정 없이도 TPU에서 대규모 언어 모델을 원활하게 서빙할 수 있도록 구성했습니다.

현재 젬마, 라마, 미스트랄 등 대표적인 모델 아키텍처가 기본 지원 목록에 포함되어 있어 단 몇 번의 클릭으로 배포를 완료할 수 있습니다.

왜 중요한가

우리는 이번 협업이 엔비디아 하드웨어의 높은 비용과 공급 부족에 지친 개발자들에게 실질적인 숨통을 틔워주는 조치라고 봅니다. 시간당 1.4달러 미만의 비용으로 가벼운 모델을 띄우거나 상시 운영되는 프로토타입을 유지할 수 있다는 점은 소규모 팀에게 특히 매력적입니다.

업계 관점에서도 매우 영리한 전략입니다. 오픈소스 AI 진영은 오랫동안 엔비디아 CUDA 중심 생태계에 묶여 있었지만, 구글은 허깅페이스라는 최대 플랫폼의 드롭다운 메뉴에 자사 TPU를 직접 얹으면서 진입 장벽을 완전히 허물었습니다.

다만 아직은 지원 모델이 주요 아키텍처에 집중되어 있어 고도로 커스텀된 파이프라인을 돌리기엔 GPU 대비 제약이 따릅니다. 그럼에도 불구하고 원클릭 추론 시장에서 엔비디아 독점에 균열을 내기 시작했다는 점에서, 비용 절감이 필요한 개발자라면 지금 바로 테스트해 볼 가치가 충분합니다.