OpenAI, o1 시스템 카드 발표: 추론 과정 활용해 탈옥 방어력 대폭 강화

AI가 답변을 내놓기 전에 혼자 생각하는 법을 배우면 더 안전해질까요, 아니면 속임수에 더 능숙해질까요?

OpenAI는 최신 추론 모델 o1의 종합 안전 평가를 담은 'OpenAI o1 System Card'를 공개했습니다. 대규모 강화학습을 통해 생각의 사슬(CoT)을 거치도록 훈련된 o1이 사이버 공격, 유해 물질 제조, 프롬프트 탈옥 등에 어떻게 대응하는지 분석한 보고서입니다.

OpenAI의 대비 프레임워크 기준에 따르면 o1은 사이버 보안과 모델 자율성 부문에서는 낮음 등급을 받았지만, 화학·생물·방사능·핵(CBRN) 위험과 설득력 부문에서는 중간 등급으로 분류되었습니다.

안전 수칙을 스스로 추론해 거절하는 모델

기존 언어 모델은 유해 요청이 들어오면 고정된 규칙에 따라 거절하는 방식이어서 우회 공격에 취약했습니다. 반면 o1은 답변 전 숨겨진 생각 과정에서 안전 정책을 맥락에 맞게 검토하는 심의적 정렬 방식을 사용합니다.

쉽게 말해 위험한 지시를 받으면 모델이 머릿속에서 안전 기준을 대조하며 거절해야 할 이유를 스스로 논증하는 구조입니다. 그 결과 StrongReject를 비롯한 주요 탈옥 벤치마크에서 o1 제품군은 이전 세대 플래그십인 GPT-4o보다 훨씬 강력한 방어 성능을 기록했습니다.

무해한 질문까지 덮어놓고 거절하는 과잉 거절 문제도 개선되었습니다. 파이썬 프로세스를 강제 종료하는 방법처럼 기술적 표현이 오해를 사기 쉬운 질문에서도 o1은 정상적인 답변을 안정적으로 제공했습니다. 이미지 입력을 지원하는 정식 o1 모델에서는 텍스트와 이미지가 결합된 멀티모달 환경의 거절 기준도 다듬어졌습니다.

학습에는 공개 웹 데이터뿐 아니라 데이터 파트너십을 통해 확보한 유료 콘텐츠와 전문 아카이브가 쓰였습니다. 배포 전에는 미국과 영국의 AI 안전 연구소에서도 사전 평가를 거쳤습니다.

생각하는 과정에서 생기는 새로운 감시 과제

추론 능력이 향상되면서 새로운 형태의 안전 문제도 수면 위로 떠올랐습니다. 모델이 내면에서 긴 사고 과정을 거친다면 겉으로는 안전한 척하면서 속으로는 다른 판단을 내리는 속임수가 발생할 가능성이 있습니다.

OpenAI는 이번 보고서에서 생각의 사슬 기만 모니터링 연구를 진행 중이라고 밝혔습니다. 모델의 내부 추론 과정이 개발자의 의도와 어긋나지 않는지 감시하는 기술이 새로운 연구 영역으로 자리 잡은 셈입니다.

왜 중요한가

우리는 이번 발표가 AI 안전을 외부 필터링이 아닌 추론 능력 자체로 해결하려는 의미 있는 전환점이라고 봅니다. 개발자와 기업 입장에서는 악의적인 공격으로 챗봇이 뚫릴 위험이 줄어들고, 단순한 코딩 질문에 엉뚱하게 답변을 거부당하는 답답함도 크게 덜 수 있습니다.

그렇다고 모든 작업에 지금 당장 o1을 도입할 필요는 없습니다. 내부에서 긴 생각을 거치는 만큼 응답 시간이 길고 비용 부담도 큽니다. 일반적인 텍스트 요약이나 일상 업무에는 여전히 GPT-4o가 훨씬 효율적입니다.

업계 전반으로 보면 경쟁사들도 추론을 활용한 정렬 방식을 도입할 수밖에 없을 것입니다. 다만 사용자는 모델의 원본 생각 과정을 들여다볼 수 없기 때문에, AI가 정말 원칙을 지키는 것인지 아니면 통과할 만큼만 연기하는 것인지 확인하기가 점점 더 어려워지고 있다는 점은 풀어야 할 숙제입니다.