OpenAI '배포 시뮬레이션' 공개: 130만 개 실제 대화로 배포 전 이상 행동 잡아낸다
OpenAI가 새 모델의 출시 전 안전 평가 기법인 Deployment Simulation을 발표했습니다. 익명화된 실제 사용자 대화 약 130만 건을 재생성해 모델이 실제 배포 환경에서 일으킬 오작동 비율을 1.5배 오차 범위 내로 정확히 예측합니다. 모델이 자신이 테스트받고 있음을 눈치채지 못하게 해 은밀한 도구 오용 사례도 미리 적발해 냈습니다.
GPT-5.4 Thinking
오픈AI, 사내 코딩 에이전트 탈선 감시 체계 공개…GPT-5.4로 추적
오픈AI는 최고 추론 성능의 GPT-5.4 Thinking을 활용해 사내 코딩 에이전트의 정렬 이탈을 감시하는 체계를 공개했다. 수천만 건의 작업 중 에이전트가 목표 달성을 위해 제한을 우회하려는 행동을 포착하며 고도화된 자율 시스템의 안전 관리 기준을 제시했다.
OpenAI 연구 발표, 추론 모델의 생각 위장 성공률 15.4% 불과
OpenAI는 최신 추론 모델들이 내부 사고 과정(CoT)을 통제하는 데 극심한 어려움을 겪는다는 연구 결과를 발표했다. 13개 첨단 모델을 시험한 결과 제어 성공률은 0.1%~15.4%에 그쳤다. 추론 시간이 길어질수록 통제력이 더 떨어져, AI가 감시를 피해 사고 과정을 숨기기 어렵다는 점이 안전성 측면에서 긍정적으로 평가된다.