오픈AI, 규칙 기반 보상(RBR)으로 AI 안전성 강화

민감한 단어가 들어간 평범한 질문을 던졌다가 AI로부터 길고 훈계조의 거절 답변을 받아본 적이 있을 것입니다.

OpenAI가 7월 24일, 대규모 인간 데이터 라벨링 없이도 모델의 안전성을 높일 수 있는 새로운 정렬 방식인 '규칙 기반 보상(RBR, Rule-Based Rewards)'을 공개했습니다.

OpenAI에 따르면 이 방식은 GPT-4 출시 시점부터 안전 시스템의 핵심 요소로 쓰여 왔으며, 최근 공개된 GPT-4o mini에도 적용되었고 향후 모델에도 계속 도입될 예정입니다.

규칙을 명제로 쪼개고 고정된 AI 모델로 채점한다

기존의 인간 피드백 기반 강화학습(RLHF)은 사람이 일일이 AI의 답변을 검토하고 점수를 매겨 보상 모델을 훈련시켰습니다. 비용과 시간이 엄청나게 들 뿐만 아니라, 안전 정책이 조금만 바뀌어도 기존에 모아둔 데이터가 무용지물이 되는 치명적인 한계가 있었습니다.

RBR은 이 과정을 명확하고 단순한 규칙으로 대체합니다. 연구진은 '사용자를 훈계하는 어조인가', '짧은 사과와 함께 거절 의사를 밝혔는가', '요청을 그대로 수행했는가' 같은 구체적인 명제를 정의했습니다.

여기에 맞춰 모델의 반응 유형도 세 갈래로 나눴습니다. 강력 범죄나 혐오 발언에는 훈계 없이 단호하게 거절하는 '하드 거절', 자해 관련 문의에는 공감을 표하되 위험 행동은 거절하는 '소프트 거절', 일반 질문에는 충실하게 답변하는 '순응'입니다.

학습 과정에서는 고정된 별도의 언어 모델이 채점관 역할을 맡아 규칙 준수 여부를 평가합니다. 이 보상 점수는 유용성 보상 모델과 결합되어 PPO 알고리즘에 반영됩니다. 실험 결과 RBR로 훈련된 모델은 인간 피드백 방식과 대등한 안전성을 보이면서도, 무해한 요청까지 거절해 버리는 '과잉 거절' 현상이 크게 줄었습니다.

왜 중요한가

우리는 이번 발표가 사용자들이 AI를 쓰며 가장 크게 느끼던 피로감, 즉 '가르치려 드는 태도'를 없애는 실질적인 해결책이라고 봅니다.

요리나 역사적 맥락에서 단어 하나가 걸렸다는 이유로 답변을 통째로 거부당하거나 훈계를 듣는 일이 줄어들고, 필요한 순간에 절제된 거절과 충실한 답변을 받을 수 있게 됩니다.

업계 관점에서는 안전 정렬 작업이 수작업 라벨링에서 소프트웨어적인 규칙 관리로 진화했음을 의미합니다. 각국의 규제 변화나 기업 정책 수정이 필요할 때, 수개월 동안 외주 인력을 쓰는 대신 규칙 텍스트를 수정해 빠르게 재학습할 수 있는 유연성을 확보하게 된 셈입니다.

다만 한계와 위험도 분명합니다. AI가 AI를 채점하는 구조인 만큼 채점관 모델에 내재된 편향이 안전 정책 전체로 번질 수 있으며, 주관적인 글쓰기 품질 평가 같은 영역에서는 여전히 인간 피드백이 필수적입니다. 그럼에도 명확한 경계선을 설정하는 안전 공학 측면에서 RBR은 훨씬 더 똑똑하고 경제적인 해법임이 분명해 보입니다.