NVIDIA 联手 Hugging Face:把 DGX Cloud 搬进开源社区
NVIDIA 与 Hugging Face 宣布合作,把 DGX Cloud 超算直接接入 Hugging Face 平台。平台将推出「训练集群即服务」,每个实例搭载 8 块 H100 或 A100,让开发者一键调用多节点算力定制企业大模型。该服务预计在未来数月内上线。
很多做大模型的团队都遇到过同一个槛:开源社区里的优质模型越来越多,代码和权重直接就能下载,但只要想拿自家业务数据做个深层微调,手里的显卡马上就报内存溢出。
在 SIGGRAPH 大会上,NVIDIA 和 Hugging Face 宣布联手,要把前者的顶级 AI 超算算力直接搬进 Hugging Face 的平台里。
两家公司正在把 NVIDIA DGX Cloud 深度集成到 Hugging Face 中,开发者在网页上就能直接调用多节点的超算资源,省去了自己折腾底层算力集群的麻烦。
把八卡超算塞进开源社区
为了这次合作,Hugging Face 准备推出一项叫做「Training Cluster as a Service」(训练集群即服务)的新功能。
简单来说,以前企业如果想基于开源模型做定制,往往需要先把模型下载到自己的服务器,或者在主流云厂商那里手动配置集群和网络。不仅环境容易踩坑,跨节点通信的调优也极其磨人。
新功能上线后,开发者可以直接在 Hugging Face 平台上一键拉起由 NVIDIA DGX Cloud 驱动的训练任务,整个服务预计在接下来的几个月内正式开放。
硬件底座方面的配置相当下本。每个 DGX Cloud 实例都配有 8 块 NVIDIA H100 或 A100 80GB 显卡,单节点显存高达 640GB。
为了解决大规模训练中最头疼的通信瓶颈,节点之间跑的是 NVIDIA 的低延迟网络。此外,购买服务的客户还能直接获得 NVIDIA 专家的技术支持,帮着一起排查模型训练和优化过程中的技术难题。
目前 Hugging Face 社区里已经沉淀了超过 25 万个模型和 5 万个数据集,有超过 15000 家机构在使用。把这些现成的开源资产和现货算力绑在一起,省掉的就是中间漫长的搬运和适配工作。
为什么重要
对于需要定制专有模型的企业和开发者来说,这一步能省下大把时间。大家不用再纠结怎么去跨平台搬运几百 GB 的权重文件,也不用自己养团队去死磕多卡并行与通信优化,直接在模型 hub 内部就能完成从选型到微调的全流程。
不过门槛依然存在,DGX Cloud 的规格注定了这主要是面向有预算的企业级用户,普通独立开发者或者学生党恐怕很难把它当成日常练习工具。
从行业竞争来看,NVIDIA 这步棋下得很聪明。它没有局限在卖显卡或推销自己的云平台,而是把自家算力直接插进了全球最大的 AI 开发者大本营。
我们认为,AI 算力战场的下一阶段不仅仅是拼芯片参数,更是拼谁能离开发者的工作流更近。Hugging Face 正在从一个单纯的模型托管仓库,变成拥有完整闭环的 AI 开发平台;而 NVIDIA 则借此牢牢锁定了开源生态最顶层的商业微调需求。
来源 (1)
- nvidianews.nvidia.com(在新标签页打开)原文nvidianews.nvidia.com