开源对话模型 OpenAssistant 发布:免费公开超 60 万条对话数据
开源项目 OpenAssistant 正式发布,并向所有人免费公开其数据集。该数据集包含超 60 万条人工生成的对话与反馈,覆盖多种主题与风格,专为指令模型训练打造,让开发者无需依赖闭源巨头也能训练自己的对话 AI。
OpenAssistant 是一个面向所有人的开源对话 AI 项目。它不仅提供了训练好的对话模型,更关键的是把训练所用的整套人类反馈数据集全部免费公开了出来。
在过去几个月里,开发团队持续收集了海量文本输入与人工反馈。如果你正在尝试微调自己的开源大语言模型,这个项目能让你直接跳过最耗时的数据积累阶段。
它能做什么
OpenAssistant 让你无需依赖大公司的闭源接口,就能基于完全开放的数据来开发指令对齐模型。
项目团队基于这套流程训练出了现成的强大对话模型,用户可以直接在线体验其实际交流效果,检验开源对话模型的问答水平。
对于开发者来说,它最实用的地方在于提供了端到端的参考范式,从收集提示词、标注回复质量,到最终将模型对齐为听话好用的聊天助手。
核心是那 60 万条人工数据
训练现代对话 AI 最缺的不是算力,而是高质量的指令微调数据。OpenAssistant 这次最大的亮点,是直接在 Hugging Face 组织页面放出了超过 60 万条人工生成的数据点。
这些数据涵盖了极其多样的讨论主题和写作风格,并且全部经过人工的输入与标注反馈,专门用来训练指令模型。
整个数据集向所有人免费开放下载。无论你是想做学术研究,还是打算基于它做商业落地,都可以自由获取并投入训练。
为什么重要
我们认为,OpenAssistant 最聪明的地方在于它没有把重心只押在模型权重上,而是把开源界最稀缺的人工反馈数据集交了出来。以往开源模型和商业闭源模型差距最大的地方,就在于缺乏足够规模的高质量人类对齐数据。
对于打算自建对话助手、又不想受制于商用 API 的开发者和中小团队来说,这套数据集非常值得立即下载研究。虽然开源模型的推理表现依然取决于底层架构和算力投入,但公开如此大规模的人工标注成果,无疑大幅拉低了整个开源社区追赶前沿对话体验的门槛。
来源 (2)
- youtube.com(在新标签页打开)原文youtube.com
- projects.laion.ai(在新标签页打开)报道projects.laion.ai