OpenAI 详解 RBR 技术：用规则给模型打分，少靠人工还防误拒

问 AI 一个敏感问题，它要么直接甩出一大段生硬的说教，要么神经过敏，连查个做菜用的料酒都拒绝回答。这种让人哭笑不得的过度拒绝，其实是传统人类标注训练留下的后遗症。

OpenAI 公布了一套已经在用的安全对齐方案：基于规则的奖励，简称 RBR。这项技术不需要海量人工去一条条标数据，而是用一套清晰明了的规则，直接教 AI 什么时候该强硬拒绝，什么时候该温柔说不，什么时候老老实实干活。

OpenAI 透露，从发布 GPT-4 开始，这项技术就已经塞进了他们的安全技术栈，刚上线的 GPT-4o mini 同样用了它，未来还会继续沿用。

让固定的模型当裁判，把规则拆成判断题

传统的 RLHF 强化学习高度依赖人工标注。人类标注员给模型的各种回答打分，训练出一个奖励模型，再让 AI 照着学。这套办法很贵很慢，最大的硬伤是一旦公司的安全策略微调，之前花大价钱攒下的标注数据可能全作废了。

OpenAI 的 RBR 换了个思路。研究人员先写下一组基础命题，比如回答是否对用户有指责说教倾向、是否包含简短道歉、是否直接顺从了请求。

面对不同类型的提示词，模型被划定了三种反应模板。遇到暴力犯罪指导或仇恨言论，必须执行硬拒绝，简短说抱歉并拒绝执行，坚决不长篇大论教训人；面对自残倾向，执行软拒绝，带着同理心安抚情绪，但依旧拒绝提供伤害建议；正常的合法提问，就全力执行并做到最有帮助。

在训练过程中，OpenAI 用一个固定的语言模型来充当打分裁判，根据规则给候选回答打分。这套安全规则奖励会和原本负责有用性的奖励模型结合在一起，塞进 PPO 算法里一起训练。一旦哪天规则改了，改几条文本提示词就能重新跑，不用重新雇人标一遍。

实验数据显示，RBR 训练出来的模型，安全水平跟纯人类反馈训出来的差不多，但过度拒绝良性提问的情况明显减少，通用能力基准测试也没掉分。

为什么重要

我们认为，这项技术最直接的价值，就是把大模型身上那股令人烦躁的教师爷味给去掉了。

普通用户经常碰到的尴尬是，自己问个带点敏感词的历史事件或医学常识，AI 就当场死机拒绝，甚至劈头盖脸教育你一通。RBR 明确把不说教列为硬指标，同时细分了硬拒绝和软拒绝，只要落地到产品里，用户拿到有分寸、不唐突的回答的概率会高得多。

对行业来说，这也是大模型对齐从手工作坊走向工程化标准的关键一步。以前各家为了合规，靠外包团队肉身标注数万条数据，成本高还很难保持标准一致。现在把对齐规则代码化、命题化，不仅训练成本大幅缩减，响应监管和政策变动的迭代周期也从几个月缩短到了几天。

不过这里也有潜在隐患。打分的裁判本身也是个语言模型，如果这个模型自身带着偏见，或者规则制定者预设的命题有漏洞，模型可能会在没有人类监督的情况下悄悄跑偏。OpenAI 自己也承认，写高质量文章这种主观任务 RBR 搞不定，只能管管边界清晰的硬规则。但无论如何，把安全对齐变成一套可插拔的规则系统，确实比漫无目的地堆人力聪明得多。