跳到正文
IFAI

AI工具

Hugging Face 推出 SafeCoder:企業可本地私有化部署自己的程式碼 Copilot

首次發布 傳播指數 34

Hugging Face 聯合 VMware 釋出企業級程式碼助手方案 SafeCoder。它主打安全與合規,模型訓練和推理全程留在客戶私有 VPC 內,程式碼不外流。企業可基於開源 StarCoder 並在私有程式碼庫上微調,相當於擁有專屬的本地版 GitHub Copilot。

Hugging Face 推出 SafeCoder:企業可本地私有化部署自己的程式碼 Copilot
圖:huggingface.co

很多大公司的技術主管現在都很糾結:一邊看著 GitHub Copilot 幫隔壁小團隊成倍提效,眼饞得很;另一邊看著法務和安全部門的禁令,半行內部核心業務程式碼都不敢往公有云上送。

大家其實都清楚,程式碼助手只有吃透自家程式碼庫,補全出來的東西才真正有用。Google 內部的資料就顯示,在內部程式碼上微調過的程式碼助手,採納率能達到 25% 到 34%。但只要用閉源大模型,程式碼就得傳到第三方伺服器上,推理時還可能洩露敏感資訊,合規這關根本過不去。

針對這個痛點,Hugging Face 在 VMware Explore 大會上正式推出了面向企業的商業解決方案 SafeCoder。簡單來說,它就是要幫企業在自己的伺服器上,搭一套完全私有化的程式碼生成助手。

把它當成裝在自家機房的私有 Copilot

SafeCoder 並不是某一個單獨的模型,而是一整套端到端的商業服務與軟體交付方案。它的核心原則非常徹底:無論是微調訓練還是日常推理,程式碼永遠不離開企業自己的虛擬私有云(VPC),就連 Hugging Face 自己也碰不到你的資料。

整套方案的底座來自 BigCode 專案開源的 StarCoder 模型。這個模型有 150 億引數,支援 80 多種程式語言,採用了多查詢注意力和 Flash Attention 技術,上下文長度可以達到 8192 個 token。

落地流程分為兩步。第一步是微調,Hugging Face 會提供容器、指令碼和指導,協助企業工程師在本地清洗、脫敏內部程式碼庫,練出一個懂自家規範的專有模型。第二步是部署,Hugging Face 提供針對各種硬體最佳化過的推理容器,企業在內網暴露私有介面,開發人員就可以直接在 VSCode 或 IntelliJ 等編輯器裡使用外掛。

把開源版權和硬體選擇權還給企業

市面上很多模型之所以讓大公司不敢碰,除了資料洩露,還有版權官司的風險。SafeCoder 底層的訓練集 The Stack 專門做過商業許可過濾,而且提供了開發者主動退出機制、資料去重和個人敏感資訊清洗。

甚至在日常寫程式碼時,SafeCoder 還內建了版權溯源功能。當模型生成一段程式碼時,系統會自動去比對 The Stack 資料集,直接告訴程式設計師這段程式碼是否和開源庫撞車、屬於什麼開源協議,企業還可以自己設定允許使用哪些協議的程式碼。

在硬體支援上,SafeCoder 也儘量幫企業省錢。它不僅支援輝達 Ampere 架構 GPU,還適配了 AMD Instinct、英特爾至強 Sapphire Rapids CPU、Habana Gaudi2 以及亞馬遜的 AWS Inferentia 2。這次與 VMware 合作,也是直接藉助 VMware 的私有 AI 參考架構,讓企業客戶能在現有的多雲或私有云環境裡快速跑起來。

為什麼重要

我們認為,SafeCoder 切中的正是大企業擁抱生成式 AI 時最敏感的那根神經。對於金融、醫療以及擁有龐大自研資產的大型企業來說,直接訂購公有云的程式碼助手風險實在太高,而從零自研私有方案的門檻又高得嚇人。SafeCoder 把從資料清洗、私有微調到內網推理的流程全打包做好,讓這批企業現在就能安全下場嘗試。

從行業競爭來看,這無疑是對微軟和 GitHub Copilot 等閉源產品的一次正面分流。很多企業抗拒公有云服務,核心就是害怕供應商鎖定。Hugging Face 幫客戶自己掌握微調好的模型權重和訓練管線,底座還能隨時替換為最新的合規開源模型,在企業級談判桌上極具說服力。

不過在實際落地中,這套模式也並非毫無門檻。自建基礎設施的算力採購成本和運維負擔終究在企業自己身上,硬體異構環境下的吞吐最佳化也需要技術投入。但整體而言,把控制權、資料安全與版權合規完整交給客戶,看起來正是開源生態對抗閉源巨頭最有效、也最聰明的一步棋。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選