Stability AI 推出 StableVicuna：首个用 RLHF 调优的开源对话大模型

StableVicuna-13B 是一个开源的指令对话大模型，也是社区里首个完整走完人类反馈强化学习（RLHF）全流程的开源模型。如果你平时需要一个在本地或私有服务器上跑的聊天助手，用它来做基础数学计算、写代码或者修改语法，它比普通的指令微调模型更懂如何像人类偏好的方式给出回答。

它能做什么与怎么训练出来的

此前社区里的大多数开源模型只做到指令微调（SFT）这一步，因为 RLHF 的流程复杂、偏好数据门槛高。StableVicuna-13B 以 Vicuna-13B（基于 LLaMA-13B 微调的模型）为底座，参考了主流的三阶段 RLHF 训练管线。

第一步是进一步的监督微调。团队混合了三个开源指令数据集：包含 35 种语言、161443 条消息的 OpenAssistant 对话数据集（OASST1），由 GPT-3.5 Turbo 生成的 437605 条 GPT4All 数据集，以及 52000 条 Alpaca 数据集。

第二步是训练奖励模型。团队借助 trlX 框架，将 SFT 模型初始化为奖励模型，并灌入了大量偏好数据。这里用到了 OASST1 的 7213 条偏好样本、Anthropic HH-RLHF 的 160800 条关于有用与无害的标注，以及斯坦福人类偏好数据集（SHP）中涵盖 18 个领域的 348718 条偏好记录。

第三步是强化学习微调。团队在 trlX 框架下使用近端策略优化（PPO）算法，在奖励模型的指引下完成了最终的对齐训练。

怎么获取与上手

因为底层使用了 Meta 的初代 LLaMA，受限于当时的开源协议，StableVicuna-13B 在 Hugging Face Hub 上并不是直接提供完整权重，而是以权重差量（weight delta）的形式发布。

想要在本地跑起来，你得先自行申请并拿到 Meta 原版的 LLaMA-13B 权重，再下载官方发布的权重差量，最后运行 GitHub 仓库提供的合并脚本拼成完整模型。对于不想折腾环境的读者，Hugging Face Space 上线了基于 Gradio 的在线体验 Demo，官方也计划后续在 Discord 服务器上线体验机器人。

为什么重要

StableVicuna 的最大价值，不在于它的 13B 参数量能压制多少闭源巨头，而在于它把原本只掌握在少数大厂手里的 RLHF 黑盒彻底撕开了一个口子。它把三阶段对齐的完整流程、开源工具链（trlX）和公开偏好数据集跑通成了一个真正可落地的样本。

对开发者和研究人员来说，如果你正在探索如何让自己的开源模型更符合人类意图、减少有害输出，StableVicuna 的整套流程和公开脚本非常值得参考；不过对普通用户而言，合并权重的门槛依然偏高，直接在网页 demo 里感受其能力是目前最省事的选择。