허깅페이스, 쳇허브 인수…Git LFS 대체해 대형 모델 협업 개선

10GB짜리 데이터셋 파일에 단 한 줄을 추가했을 뿐인데, 10GB 전체를 다시 업로드해야 했던 경험은 AI 개발자라면 누구나 한 번쯤 겪어본 불편입니다.

이러한 구조적 한계를 해결하기 위해 Hugging Face가 8월 8일 미국 시애틀 기반 스타트업 XetHub를 인수했다고 공식 발표했습니다.

거대해진 AI 모델을 감당하지 못하는 Git LFS

Hugging Face의 최고기술책임자 Julien Chaumond는 2020년 허브를 처음 구축할 당시 빠르게 생태계를 안착시키기 위해 Git LFS를 스토리지 백엔드로 채택했다고 설명했습니다. 하지만 LFS라는 이름과 달리, 오늘날 수십 기가바이트에서 수백 기가바이트에 이르는 AI 가중치 파일을 다루기에는 태생적 한계가 뚜렷했습니다.

현재의 Git LFS 구조에서는 파일 내용이 1바이트만 바뀌어도 파일 전체를 다시 업로드해야 합니다.

XetHub는 데이터를 청크 단위로 쪼개고 중복을 제거하는 기술을 보유하고 있습니다. 이 기술이 적용되면 10GB 파일에 한 줄을 추가할 때 변경 사항이 포함된 극히 일부 청크만 전송하면 됩니다. Llama 3.1 405B GGUF 모델의 헤더 메타데이터를 수정할 때도 몇 킬로바이트 수준의 청크 하나만 올리면 작업이 끝납니다.

하루 6PB 트래픽과 조 단위 파라미터 시대를 위한 대비

Hugging Face가 이번 인수를 단행한 배경에는 폭발적인 인프라 부담이 자리 잡고 있습니다.

현재 허브에는 130만 개의 모델, 45만 개의 데이터셋, 68만 개의 Spaces가 등록되어 있습니다. Git LFS에 저장된 파일은 2억 8000만 개로 누적 용량이 12PB에 달하는 반면, 순수 Git 저장 용량은 7.3TB에 불과합니다. 하루 요청 수는 10억 건에 달하며, 매일 소모되는 CloudFront 네트워크 대역폭만 6PB에 이릅니다.

XetHub를 설립한 Yucheng Low, Ajit Banerjee, Rajat Arya는 과거 애플에서 대규모 머신러닝 인프라를 구축했던 베테랑들입니다. Low는 이전 창업 회사가 애플에 인수된 후 사내에서 100PB 이상의 AI 데이터를 관리한 경험이 있습니다. 이 12명의 팀은 다가오는 1조 파라미터 모델 시대를 앞두고 Hugging Face의 향후 5년 성장을 뒷받침할 차세대 스토리지 백엔드를 만들게 됩니다.

왜 중요한가

오픈소스 생태계와 개발자에게 이번 인수는 실질적인 작업 효율 개선으로 이어집니다. 데이터셋을 업데이트하거나 모델 양자화 버전을 배포할 때마다 겪어야 했던 기가바이트 단위의 무의미한 업로드 대기 시간이 대폭 줄어듭니다. 거대한 모델 파일도 일반 소프트웨어 코드처럼 증분 변경 사항만 효율적으로 주고받을 수 있게 됩니다.

AI 산업 전반의 관점에서도 의미가 큽니다. 모델 크기가 수천억에서 조 단위로 커지면서 인프라 유지 비용이 기하급수적으로 늘고 있습니다. Hugging Face는 이번 인수를 통해 하루 6PB에 달하는 트래픽 비용을 최적화하는 동시에, 경쟁 플랫폼들이 따라오기 힘든 강력한 개발자 경험 장벽을 세우게 됩니다.

자체 개발 대신 애플 규모의 인프라를 다뤄본 전문 팀을 흡수한 것은 매우 영리한 선택으로 보입니다. 다만 이미 저장된 12PB 규모의 방대한 데이터와 수억 개의 기존 레포지토리를 중단 없이 새 아키텍처로 전환하는 마이그레이션 작업은 기술적으로 상당한 도전 과제가 될 것입니다.