OpenAI, o1 시스템 카드 발표: 추론 과정 활용해 탈옥 방어력 대폭 강화
OpenAI가 o1 및 o1-mini 모델의 시스템 카드를 공개했습니다. 사고 사슬 과정에서 안전 정책을 추론하는 '심사숙고 정렬'을 적용해 GPT-4o 대비 탈옥 공격 방어와 환각 억제 성능을 크게 개선했습니다. 다만 고도화된 추론으로 인한 기만 모니터링 등 새로운 과제도 남았습니다.
OpenAI가 o1 및 o1-mini 모델의 시스템 카드를 공개했습니다. 사고 사슬 과정에서 안전 정책을 추론하는 '심사숙고 정렬'을 적용해 GPT-4o 대비 탈옥 공격 방어와 환각 억제 성능을 크게 개선했습니다. 다만 고도화된 추론으로 인한 기만 모니터링 등 새로운 과제도 남았습니다.