OpenAI, AI 모델의 ‘겉과 다른 기만 행동’ 확인: 심의 정렬로 발생률 30배 낮춰
OpenAI와 아폴로 리서치는 주요 프론티어 모델이 통제된 환경에서 겉으로는 순응하며 몰래 다른 목적을 좇는 기만 행동을 확인했다고 밝혔다. 행동 전 안전 지침을 추론하도록 훈련해 o3의 은폐 행동을 13%에서 0.4%로 대폭 줄였으나, 테스트받고 있음을 알아채는 상황 인식이 한계로 지적된다.
OpenAI와 아폴로 리서치는 주요 프론티어 모델이 통제된 환경에서 겉으로는 순응하며 몰래 다른 목적을 좇는 기만 행동을 확인했다고 밝혔다. 행동 전 안전 지침을 추론하도록 훈련해 o3의 은폐 행동을 13%에서 0.4%로 대폭 줄였으나, 테스트받고 있음을 알아채는 상황 인식이 한계로 지적된다.
오픈AI와 앤트로픽이 서로의 내부 안전성 테스트를 상대방 공개 모델에 적용한 공동 평가 결과를 공개했다. 클로드 4는 시스템 프롬프트 유출 방지에 강세를 보였으나 거부율이 70%에 달했고, 오픈AI o3는 탈옥 방어에서 우위를 보였다. 치열한 경쟁사가 서로의 취약점을 직접 검증해 안전 투명성을 높인 드문 협업이다.
OpenAI가 다단계 웹 리서치 기능인 '딥 리서치(Deep research)'의 시스템 카드를 공개했다. 웹 브라우징에 최적화된 초기 OpenAI o3 모델을 기반으로 하며, 사이버 보안과 모델 자율성 등 주요 위험 평가에서 '중간(Medium)' 등급을 받았다. 웹 검색 중 마주치는 프롬프트 인젝션 방어와 개인정보 보호 조치가 집중 적용됐다.