허깅페이스, 구글 클라우드와 맞손: 전용 CDN 구축과 TPU 지원

클라우드에서 오픈소스 거대 언어 모델을 배포해 본 엔지니어라면 누구나 공감할 겁니다. 인스턴스를 띄우는 것보다 수십 기가바이트에 달하는 가중치 파일을 인터넷에서 내려받는 데 훨씬 더 많은 시간이 걸린다는 사실을요.

이러한 병목 현상을 해결하기 위해 Hugging Face와 Google Cloud가 전략적 파트너십을 대폭 강화하기로 했습니다.

지난 3년간 Google Cloud 환경에서 Hugging Face를 호출하는 트래픽은 10배나 폭증했습니다. 현재 매달 수십 페타바이트 규모의 모델 다운로드와 수십억 건의 요청이 오가고 있는 상황입니다.

전용 CDN 게이트웨이 구축과 TPU 네이티브 지원

가장 눈에 띄는 변화는 양사가 함께 구축하는 CDN 게이트웨이입니다. Hugging Face의 Xet 스토리지 및 전송 최적화 기술과 Google Cloud의 글로벌 네트워크 인프라를 결합해, 모델과 데이터셋을 Google Cloud 내부에 직접 캐싱합니다.

이렇게 되면 Vertex AI의 Model Garden이나 GKE, Cloud Run, 일반 Compute Engine VM 등 어떤 환경에서 작업하든 외부 공용망을 거칠 필요가 없어 다운로드 속도가 비약적으로 빨라지고 첫 토큰 생성 지연도 크게 줄어듭니다.

인프라 비용 측면에서도 실질적인 혜택이 주어집니다. Hugging Face의 간편 배포 서비스인 Inference Endpoints에 Google Cloud 하드웨어가 투입되며, 지원 인스턴스 확장과 함께 서비스 가격 인하가 예고되었습니다.

또한 7세대에 접어든 Google의 커스텀 AI 가속기 TPU를 Hugging Face 라이브러리에서 네이티브로 지원합니다. 개발자가 기존 GPU 환경과 마찬가지로 코드 몇 줄로 손쉽게 오픈소스 모델을 TPU에서 구동할 수 있도록 만들겠다는 계획입니다.

보안 영역에서는 VirusTotal, Google Threat Intelligence, Mandiant의 보안 기술을 연동해 Hugging Face Hub에 호스팅된 수백만 개의 모델과 데이터셋, Spaces 공간을 대상으로 악성코드 및 공급망 위협을 상시 검사합니다.

왜 중요한가

실무 개발자와 기업 입장에서 모델 가중치 다운로드 지연은 클라우드 운영 비용과 직결되는 문제입니다. 내부 캐시를 통해 콜드스타트 문제를 해결하고 배포 마찰을 없앤 것만으로도 실서비스 적용 문턱이 크게 낮아집니다. 여기에 간편 배포 서비스의 단가 인하까지 더해지면 오픈소스 모델을 시험해 보기 훨씬 수월해집니다.

산업 전반으로 보면 클라우드 경쟁의 판도가 독점 모델 중심에서 오픈소스 생태계 흡수로 옮겨갔음을 명확히 보여줍니다. 1,000만 명의 AI 개발자와 200만 개 이상의 모델이 모여 있는 허브를 잡지 못하면 차세대 클라우드 워크로드를 유치하기 어렵기 때문입니다.

우리는 Google의 TPU 네이티브 지원 결정이 매우 계산된 승부수라고 봅니다. 엔비디아 GPU 수급난과 가격 거품에 지친 개발자들에게 가장 익숙한 오픈소스 프레임워크를 통해 대체재를 쥐여주는 셈입니다. 특정 클라우드 네트워크에 의존하게 만드는 락인 효과가 뒤따를 수는 있지만, 지금 당장 비용 절감과 배포 속도가 아쉬운 팀이라면 충분히 환영할 만한 변화로 보입니다.