跳到正文
IFAI

AI工具

Hugging Face 推出合成数据生成器:一句提示词,无代码跑出数据集

首次发布 传播指数 39

Hugging Face 推出无代码应用 Synthetic Data Generator。用户只需输入自然语言描述,就能自动生成文本分类和对话数据集,底层由 distilabel 与免费文本生成 API 驱动。生成结果可直通 Argilla 进行筛选标注,还能配合 AutoTrain 快速训练专属模型。

Hugging Face 推出合成数据生成器:一句提示词,无代码跑出数据集
图:huggingface.co

想训一个垂直领域的小模型,但手里连像样的数据集都没有,这大概是很多小团队和独立开发者最头疼的卡点。

Hugging Face 上线了一款名为 Synthetic Data Generator 的无代码工具。说白了,它让你直接用日常的大白话描述需求,就能自动生成可用于模型训练的高质量合成数据集,整个过程完全不需要写一行代码。

动动嘴皮子,数据和模型全有了

以往搞合成数据,光是搭流水线、写提示词脚本、调 API 就得折腾半天。Hugging Face 把这一整套流程做成了一个网页应用,底层跑的是开源合成数据框架 distilabel,调用的是平台免费的文本生成接口。

使用流程只有三步。你先在输入框里用自然语言描述自己想要什么样的数据,比如设定一个特定业务的客服助手。系统会先吐出几个样本,并自动生成对应的 System Prompt。如果你觉得语气或格式不够精准,直接在线微调提示词和参数,满意之后再设定生成数量和创意度温度值,点击批量生成。

目前这个工具支持两类最核心的场景:文本分类和对话微调数据集。在免费接口的默认配置下,文本分类每分钟能生成大概 50 条样本,对话数据大约每分钟 20 条。生成的数据会自动推送到 Hugging Face Hub 和内嵌的 Argilla 平台,方便你直接进行语义搜索、过滤和人工质检。

最绝的是后半截。数据生成完之后,可以直接无缝对接 Hugging Face 的 AutoTrain 训练平台。哪怕用免费的 CPU 资源,也能在几分钟内把刚才那批合成数据训成一个专用的分类模型,实现从一段话到最终可用模型的零代码闭环。

进阶玩家也能自己魔改

对于觉得免费额度不够用,或者对数据质量有更高要求的人,Hugging Face 也留了后门。

这个工具以 Apache 2 许可证完全开源,不仅可以在本地用 pip 命令直接安装运行,还能直接把官方的 Space 空间复制一份到自己的私有账号下。

只要在私有空间里改几个环境变量,你就能把默认的 Llama-3.1-8B-Instruct 换成更大的 70B 模型,甚至直接接入 OpenAI 的 gpt-4o 接口。你还可以调大批处理大小来加快生成速度,或者挂接自己搭建的私有 Argilla 实例。官方还透露,后续会陆续支持检索增强生成和大模型评测数据集的生成。

为什么重要

我们认为,Hugging Face 这次做的事情,本质上是在把高质量合成数据的制作门槛打到地面。

以往合成数据和模型微调是算法工程师的专属玩具,普通业务人员哪怕有极深厚的行业经验,也没法把业务知识快速转化成训练集。现在任何懂业务的人,花十几分钟打打字,就能弄出一批可用的微调样本,这大幅降低了垂直领域定制 AI 的门槛。

更聪明的地方在于生态闭环。Hugging Face 没有把这个工具做成孤岛,而是把它当作一根针,把底层的 distilabel 框架、中间的数据标注平台 Argilla、托管仓库 Hub 以及训练工具 AutoTrain 彻底串联了起来。用户原本只是想生成几条数据玩玩,不知不觉就把整个 Hugging Face 技术栈全用了一遍。

当然,隐患也显而易见。默认依靠 8B 模型自动生成无监督的合成数据,难免会出现事实幻觉和风格同质化的问题。如果用户完全跳过 Argilla 的人工质检,直接把合成数据一股脑送进 AutoTrain 训模型,训出来的结果很可能只是一个复读机。但无论如何,对于想低成本快速验证想法的人来说,这套工具非常值得现在就去试一试。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选