Hugging Face 推出合成數據生成器:一句提示詞,無程式碼跑出資料集
Hugging Face 推出無程式碼應用 Synthetic Data Generator。使用者只需輸入自然語言描述,就能自動生成文本分類和對話資料集,底層由 distilabel 與免費文本生成 API 驅動。生成結果可直通 Argilla 進行篩選標註,還能配合 AutoTrain 快速訓練專屬模型。

想訓一個垂直領域的小模型,但手裡連像樣的資料集都沒有,這大概是很多小團隊和獨立開發者最頭疼的卡點。
Hugging Face 上線了一款名為 Synthetic Data Generator 的無程式碼工具。說白了,它讓你直接用日常的大白話描述需求,就能自動生成可用於模型訓練的高質量合成數據集,整個過程完全不需要寫一行程式碼。
動動嘴皮子,資料和模型全有了
以往搞合成數據,光是搭流水線、寫提示詞指令碼、調 API 就得折騰半天。Hugging Face 把這一整套流程做成了一個網頁應用,底層跑的是開源合成數據框架 distilabel,呼叫的是平臺免費的文本生成介面。
使用流程只有三步。你先在輸入框裡用自然語言描述自己想要什麼樣的資料,比如設定一個特定業務的客服助手。系統會先吐出幾個樣本,並自動生成對應的 System Prompt。如果你覺得語氣或格式不夠精準,直接線上微調提示詞和引數,滿意之後再設定生成數量和創意度溫度值,點選批次生成。
目前這個工具支援兩類最核心的場景:文本分類和對話微調資料集。在免費介面的預設配置下,文本分類每分鐘能生成大概 50 條樣本,對話資料大約每分鐘 20 條。生成的資料會自動推送到 Hugging Face Hub 和內嵌的 Argilla 平臺,方便你直接進行語義搜尋、過濾和人工質檢。
最絕的是後半截。資料生成完之後,可以直接無縫對接 Hugging Face 的 AutoTrain 訓練平臺。哪怕用免費的 CPU 資源,也能在幾分鐘內把剛才那批合成數據訓成一個專用的分類模型,實現從一段話到最終可用模型的零程式碼閉環。
進階玩家也能自己魔改
對於覺得免費額度不夠用,或者對資料質量有更高要求的人,Hugging Face 也留了後門。
這個工具以 Apache 2 許可證完全開源,不僅可以在本地用 pip 命令直接安裝執行,還能直接把官方的 Space 空間複製一份到自己的私有賬號下。
只要在私有空間裡改幾個環境變數,你就能把預設的 Llama-3.1-8B-Instruct 換成更大的 70B 模型,甚至直接接入 OpenAI 的 gpt-4o 介面。你還可以調大批處理大小來加快生成速度,或者掛接自己搭建的私有 Argilla 例項。官方還透露,後續會陸續支援檢索增強生成和大模型評測資料集的生成。
為什麼重要
我們認為,Hugging Face 這次做的事情,本質上是在把高質量合成數據的製作門檻打到地面。
以往合成數據和模型微調是演算法工程師的專屬玩具,普通業務人員哪怕有極深厚的行業經驗,也沒法把業務知識快速轉化成訓練集。現在任何懂業務的人,花十幾分鍾打打字,就能弄出一批可用的微調樣本,這大幅降低了垂直領域定製 AI 的門檻。
更聰明的地方在於生態閉環。Hugging Face 沒有把這個工具做成孤島,而是把它當作一根針,把底層的 distilabel 框架、中間的資料標註平臺 Argilla、託管倉庫 Hub 以及訓練工具 AutoTrain 徹底串聯了起來。使用者原本只是想生成幾條資料玩玩,不知不覺就把整個 Hugging Face 技術棧全用了一遍。
當然,隱患也顯而易見。預設依靠 8B 模型自動生成無監督的合成數據,難免會出現事實幻覺和風格同質化的問題。如果使用者完全跳過 Argilla 的人工質檢,直接把合成數據一股腦送進 AutoTrain 訓模型,訓出來的結果很可能只是一個復讀機。但無論如何,對於想低成本快速驗證想法的人來說,這套工具非常值得現在就去試一試。
來源 (1)
- huggingface.co(在新分頁開啟)原文huggingface.co