NVIDIA 聯手 Hugging Face:把 DGX Cloud 搬進開源社群
NVIDIA 與 Hugging Face 宣佈合作,把 DGX Cloud 超算直接接入 Hugging Face 平臺。平臺將推出「訓練叢集即服務」,每個例項搭載 8 塊 H100 或 A100,讓開發者一鍵呼叫多節點算力定製企業大模型。該服務預計在未來數月內上線。
很多做大模型的團隊都遇到過同一個檻:開源社群裡的優質模型越來越多,程式碼和權重直接就能下載,但只要想拿自家業務資料做個深層微調,手裡的顯示卡馬上就報記憶體溢位。
在 SIGGRAPH 大會上,NVIDIA 和 Hugging Face 宣佈聯手,要把前者的頂級 AI 超算算力直接搬進 Hugging Face 的平臺裡。
兩家公司正在把 NVIDIA DGX Cloud 深度整合到 Hugging Face 中,開發者在網頁上就能直接呼叫多節點的超算資源,省去了自己折騰底層算力叢集的麻煩。
把八卡超算塞進開源社群
為了這次合作,Hugging Face 準備推出一項叫做「Training Cluster as a Service」(訓練叢集即服務)的新功能。
簡單來說,以前企業如果想基於開源模型做定製,往往需要先把模型下載到自己的伺服器,或者在主流雲廠商那裡手動配置叢集和網路。不僅環境容易踩坑,跨節點通訊的調優也極其磨人。
新功能上線後,開發者可以直接在 Hugging Face 平臺上一鍵拉起由 NVIDIA DGX Cloud 驅動的訓練任務,整個服務預計在接下來的幾個月內正式開放。
硬體底座方面的配置相當下本。每個 DGX Cloud 例項都配有 8 塊 NVIDIA H100 或 A100 80GB 顯示卡,單節點視訊記憶體高達 640GB。
為了解決大規模訓練中最頭疼的通訊瓶頸,節點之間跑的是 NVIDIA 的低延遲網路。此外,購買服務的客戶還能直接獲得 NVIDIA 專家的技術支援,幫著一起排查模型訓練和最佳化過程中的技術難題。
目前 Hugging Face 社群裡已經沉澱了超過 25 萬個模型和 5 萬個資料集,有超過 15000 家機構在使用。把這些現成的開源資產和現貨算力綁在一起,省掉的就是中間漫長的搬運和適配工作。
為什麼重要
對於需要定製專有模型的企業和開發者來說,這一步能省下大把時間。大家不用再糾結怎麼去跨平臺搬運幾百 GB 的權重檔案,也不用自己養團隊去死磕多卡並行與通訊最佳化,直接在模型 hub 內部就能完成從選型到微調的全流程。
不過門檻依然存在,DGX Cloud 的規格註定了這主要是面向有預算的企業級使用者,普通獨立開發者或者學生黨恐怕很難把它當成日常練習工具。
從行業競爭來看,NVIDIA 這步棋下得很聰明。它沒有侷限在賣顯示卡或推銷自己的雲平臺,而是把自家算力直接插進了全球最大的 AI 開發者大本營。
我們認為,AI 算力戰場的下一階段不僅僅是拼晶片引數,更是拼誰能離開發者的工作流更近。Hugging Face 正在從一個單純的模型託管倉庫,變成擁有完整閉環的 AI 開發平臺;而 NVIDIA 則藉此牢牢鎖定了開源生態最頂層的商業微調需求。
來源 (1)
- nvidianews.nvidia.com(在新分頁開啟)原文nvidianews.nvidia.com