OpenAI 詳解 RBR 技術：用規則給模型打分，少靠人工還防誤拒

問 AI 一個敏感問題，它要麼直接甩出一大段生硬的說教，要麼神經過敏，連查個做菜用的料酒都拒絕回答。這種讓人哭笑不得的過度拒絕，其實是傳統人類標註訓練留下的後遺症。

OpenAI 公佈了一套已經在用的安全對齊方案：基於規則的獎勵，簡稱 RBR。這項技術不需要海量人工去一條條標資料，而是用一套清晰明瞭的規則，直接教 AI 什麼時候該強硬拒絕，什麼時候該溫柔說不，什麼時候老老實實幹活。

OpenAI 透露，從釋出 GPT-4 開始，這項技術就已經塞進了他們的安全技術棧，剛上線的 GPT-4o mini 同樣用了它，未來還會繼續沿用。

讓固定的模型當裁判，把規則拆成判斷題

傳統的 RLHF 強化學習高度依賴人工標註。人類標註員給模型的各種回答打分，訓練出一個獎勵模型，再讓 AI 照著學。這套辦法很貴很慢，最大的硬傷是一旦公司的安全策略微調，之前花大價錢攢下的標註資料可能全作廢了。

OpenAI 的 RBR 換了個思路。研究人員先寫下一組基礎命題，比如回答是否對使用者有指責說教傾向、是否包含簡短道歉、是否直接順從了請求。

面對不同型別的提示詞，模型被劃定了三種反應模板。遇到暴力犯罪指導或仇恨言論，必須執行硬拒絕，簡短說抱歉並拒絕執行，堅決不長篇大論教訓人；面對自殘傾向，執行軟拒絕，帶著同理心安撫情緒，但依舊拒絕提供傷害建議；正常的合法提問，就全力執行並做到最有幫助。

在訓練過程中，OpenAI 用一個固定的語言模型來充當打分裁判，根據規則給候選回答打分。這套安全規則獎勵會和原本負責有用性的獎勵模型結合在一起，塞進 PPO 演算法裡一起訓練。一旦哪天規則改了，改幾條文本提示詞就能重新跑，不用重新僱人標一遍。

實驗資料顯示，RBR 訓練出來的模型，安全水平跟純人類反饋訓出來的差不多，但過度拒絕良性提問的情況明顯減少，通用能力基準測試也沒掉分。

為什麼重要

我們認為，這項技術最直接的價值，就是把大模型身上那股令人煩躁的教師爺味給去掉了。

普通使用者經常碰到的尷尬是，自己問個帶點敏感詞的歷史事件或醫學常識，AI 就當場宕機拒絕，甚至劈頭蓋臉教育你一通。RBR 明確把不說教列為硬指標，同時細分了硬拒絕和軟拒絕，只要落地到產品裡，使用者拿到有分寸、不唐突的回答的機率會高得多。

對行業來說，這也是大模型對齊從手工作坊走向工程化標準的關鍵一步。以前各家為了合規，靠外包團隊肉身標註數萬條資料，成本高還很難保持標準一致。現在把對齊規則程式碼化、命題化，不僅訓練成本大幅縮減，響應監管和政策變動的迭代週期也從幾個月縮短到了幾天。

不過這裡也有潛在隱患。打分的裁判本身也是個語言模型，如果這個模型自身帶著偏見，或者規則制定者預設的命題有漏洞，模型可能會在沒有人類監督的情況下悄悄跑偏。OpenAI 自己也承認，寫高質量文章這種主觀任務 RBR 搞不定，只能管管邊界清晰的硬規則。但無論如何，把安全對齊變成一套可插拔的規則系統，確實比漫無目的地堆人力聰明得多。