OpenAI、人手不要の安全性アライメント手法「RBR」を解説

AIに少し際どい質問をした際、説教じみた長文で拒絶されたり、無害な日常会話なのに過剰に警戒されて回答を拒否されたりした経験はないでしょうか。

OpenAIは7月24日、大量の人手によるデータ収集に頼らず、AIの安全性を高める新手法「ルールベース報酬（RBR: Rule-Based Rewards）」の詳細を発表しました。

この技術はGPT-4の提供開始時から同社の安全基盤に組み込まれており、先日登場したGPT-4o miniにも採用され、今後のモデルでも標準的に使われていく予定です。

ルールを命題に落とし込み、別の言語モデルが採点する

従来のRLHF（人間のフィードバックによる強化学習）は、人間がAIの出力を手作業で採点して報酬モデルを作っていました。この方法はコストがかかる上、企業の安全ポリシーが少し変わるだけで過去のデータが使い物にならなくなる欠点がありました。

RBRはこの課題を解決するため、明確なルールを「命題」として定義します。たとえば「ユーザーに対して批判的・説教的でないか」「簡潔な謝罪と拒否が含まれているか」「指示に正しく従っているか」といった項目です。

モデルの振る舞いも3つに整理されました。凶悪犯罪の手順やヘイトスピーチなどには、説教を挟まず簡潔に断る「ハード拒否」。自傷行為などの繊細な相談には、共感を示しつつも応じない「ソフト拒否」。そして無害な通常の質問には全力で応じる「遵守」です。

学習時には、固定された言語モデルがグレーダー（採点者）として機能し、出力がルールを守れているかを評価します。その採点結果を有用性向けの報酬モデルと組み合わせ、PPOアルゴリズムを通じてモデルに学習させます。安全基準を変更したい場合も、ルールを書き換えるだけで済む仕組みです。

なぜ重要か

一般ユーザーにとって最も嬉しい変化は、AI特有の「説教くささ」や「過剰な拒否」が大幅に減る点にあると考えられます。

料理酒の扱いを聞いただけでアルコール関連としてブロックされるような誤作動が減り、断られる際も余計な道徳的講釈を受けずに済むようになります。

業界全体にとっても、安全対策のコスト構造を根本から変えるアプローチです。従来の人海戦術によるアノテーション作業を命題ベースの自動採点に置き換えることで、開発スピードとコスト効率は劇的に向上します。法規制や社会通念の変化にも即座に対応できるようになります。

一方で懸念もあります。採点役を務めるAI自体に偏見があった場合、人間の目が届かないところで誤った学習が固定化されるリスクです。OpenAIも文章の巧拙など主観的なタスクには人手が必要だと認めていますが、明確な境界線を引く安全対策としては非常に洗練されたアプローチと言えます。