Hugging Face、XetHubを買収　Git LFS代替で巨大モデルの更新を効率化

10GB の Parquet データセットに 1 行だけ追加したとします。現在の仕様では、その 1 行のために 10GB のファイル全体をもう一度アップロードし直さなければなりません。

AI モデルや大規模データを扱う開発者が直面してきたこの非効率を解消するため、Hugging Face は 8 月 8 日、米シアトルのスタートアップ XetHub を買収したと発表しました。

AI 時代に追いつかなくなった Git LFS

Hugging Face の CTO である Julien Chaumond 氏によると、2020 年にプラットフォームを立ち上げた際、早期立ち上げのために Git LFS が採用されました。しかし、Git LFS の設計思想は、現代の大規模言語モデルのような巨大ファイルを扱うには根本的に力不足でした。

ファイルをわずかでも変更すると全体を再アップロードする必要がある現行仕様に対し、XetHub はブロック単位の分割と重複排除の技術を持っています。

この技術が統合されれば、10GB のデータセットに 1 行足した場合は差分を含むブロックだけを送信すれば済みます。Llama 3.1 405B の GGUF 形式モデルのヘッダーメタデータを書き換えるような作業も、わずか数キロバイトのブロックを 1 つ送るだけで完了するようになります。

1 日 6PB の帯域消費と兆単位パラメータへの備え

Hugging Face が抜本的なインフラ刷新に踏み切った背景には、急増するトラフィックがあります。

公表された数字によると、同プラットフォームには現在 130 万のモデル、45 万のデータセット、68 万の Spaces がホストされています。Git LFS に保存されたデータは 2 億 8000 万ファイルで合計 12PB に達し、通常の Git 領域である 7.3TB を圧倒しています。

さらに、リクエスト数は 1 日あたり 10 億件に上り、CloudFront の帯域消費量は 1 日で 6PB に達しています。

XetHub は 12 人のチームで、創業者の Yucheng Low 氏らは米 Apple で 100PB を超える機械学習インフラの構築を手がけた実績を持ちます。今後登場する 1 兆パラメータ規模の巨大モデルを支えるため、同社のノウハウが Hugging Face の次の 5 年を支えるストレージ基盤として組み込まれます。

なぜ重要か

モデルやデータを公開する開発者にとって、この恩恵は絶大です。メタデータの微修正やデータの小規模な追加のたびに長時間のアップロードを待つストレスが解消され、一般的なソフトウェア開発と同じ感覚で差分管理ができるようになります。

業界全体から見ても、オープンモデルの巨大化が進む中で、流通インフラの効率化は避けて通れない課題です。1 日 6PB という莫大な配信コストを圧縮しつつ、開発者の作業効率を引き上げることで、競合プラットフォームに対する Hugging Face の優位性は一段と強固になります。

ゼロから自社開発するのではなく、Apple で実績を積んだ小精鋭チームを取り込んだ判断は極めて合理的だと考えられます。一方で、すでに蓄積された 12PB、約 3 億個の既存ファイルをダウンタイムなく新基盤へ移行できるのか、外部ツールとの互換性をどこまで維持できるのかというエンジニアリング上のハードルは決して低くありません。