Hugging FaceとGoogle Cloudが提携拡大、専用CDNやTPU対応を導入

クラウド上でオープンソースの大規模言語モデルを動かそうとして、数十ギガバイトもある重みデータのダウンロード待ちに時間を奪われた経験は誰にでもあるはずです。

この日常的なストレスを解消すべく、Hugging FaceとGoogle Cloudが戦略的パートナーシップの強化を発表しました。

過去3年間で、Google CloudユーザーによるHugging Faceの利用量は10倍に拡大しました。現在では毎月数十ペタバイト規模のモデルダウンロードと、数十億回に及ぶリクエストが発生しています。

専用CDNゲートウェイの新設とTPUへのネイティブ対応

今回の提携で最大の目玉となるのが、共同開発される専用CDNゲートウェイです。Hugging Faceのデータ転送技術であるXetとGoogle Cloudの高速ネットワークを組み合わせ、モデルやデータセットをGoogle Cloud内部に直接キャッシュします。

これにより、Vertex AIのModel GardenやGoogle Kubernetes Engine、Cloud Run、Compute Engineの仮想マシンからモデルを呼び出す際、ダウンロード時間が大幅に短縮され、初回トークン生成までの待ち時間も改善されます。

ハードウェア面での恩恵もあります。手軽にモデルをAPI化できるHugging Face Inference EndpointsにGoogle Cloudのインフラが組み込まれ、利用可能なインスタンスの拡充と利用料金の引き下げが予告されました。

さらに、現在第7世代に達したGoogleのカスタムAIチップであるTPUへの対応も進められます。Hugging Faceのライブラリ側でTPUをネイティブサポートし、GPUと変わらない手軽さでオープンソースモデルを動作させられる環境を整えます。

セキュリティ面では、VirusTotalやGoogle Threat Intelligence、Mandiantの技術を導入し、プラットフォーム上に公開されている膨大なモデルやデータセット、Spacesのサプライチェーン保護を強化します。

なぜ重要か

現場の開発者にとって、モデル配布の内部キャッシュ化は即効性のある改善です。巨大なモデルのロードに伴うコールドスタートの遅延が解消されれば、実運用での安定性や俊敏性が格段に高まります。Inference Endpointsの値下げも、個人開発者やスタートアップには直接的なコストメリットになります。

業界全体で見れば、クラウド各社の競争軸が独自モデルの囲い込みからオープンソースインフラの快適性へと完全に移行したことを示しています。200万以上のオープンモデルと1000万人の開発者が集まるHugging Faceを抱き込むことは、クラウド事業者にとって最重要の獲得戦略です。

特にTPUのネイティブ対応は極めて巧妙だと考えられます。高価なNvidia製GPUの確保に悩む開発者に対して、より安価で安定した選択肢を提供できれば、Google Cloudへの乗り換えを促す強力な武器になります。インフラの最適化が進む反面、特定クラウドへの依存度が知らず知らずのうちに高まる懸念はありますが、開発現場にとっては歓迎すべき一歩といえます。