오픈AI와 앤트로픽, 첫 공동 안전성 평가 결과 공개…상대 모델 교차 검증

보통 AI 업계의 라이벌 관계는 벤치마크 점수로 상대를 찍어누르는 데 집중됩니다. 하지만 이번에는 분위기가 사뭇 달랐습니다. 가장 치열하게 맞붙는 두 선두 주자가 각자의 안전성 평가 도구를 들고 나와 서로의 모델을 밑바닥까지 해부했습니다.

OpenAI는 Anthropic과 공동으로 진행한 파일럿 안전성 평가 결과를 공개했습니다. 지난여름, 양사는 자사 내부의 정렬 및 안전성 평가 스위트를 상대방의 공개 모델에 교차 적용하는 전례 없는 실험을 거쳤고, 그 분석 결과를 투명하게 공유했습니다.

서로 시험지 바꿔 채점하며 드러난 약점

OpenAI는 자체 평가 도구를 사용해 Anthropic의 Claude Opus 4와 Claude Sonnet 4를 테스트했습니다. 비교군으로는 당시 ChatGPT를 지원하던 GPT-4o, GPT-4.1, OpenAI o3, 그리고 OpenAI o4-mini를 배치했습니다. 극단적인 레드팀 스트레스 테스트를 진행하기 위해 양사는 테스트를 방해할 수 있는 외부 안전 필터 일부를 완화한 채 공개 API를 통해 평가를 진행했습니다.

명령 계층 구조(Instruction Hierarchy) 평가에서는 Claude 4 시리즈가 압도적인 우위를 보였습니다. 시스템 프롬프트의 지침과 사용자의 악의적인 프롬프트가 충돌할 때, Claude는 시스템 규칙을 가장 완벽하게 지켜내며 OpenAI o3를 제치고 전체 최고점을 기록했습니다. 시스템 프롬프트 탈취 공격을 방어하는 능력에서도 Claude는 OpenAI의 최고 수준 추론 모델과 대등하거나 조금 더 나은 방어력을 입증했습니다.

하지만 탈옥(Jailbreaking) 방어에서는 Claude가 무너졌습니다. 모델 자체에 내장된 안전장치의 견고성 면에서 OpenAI o3와 o4-mini에 미치지 못했습니다. 심지어 특정 탈옥 시나리오에서는 Claude의 생각(Thinking) 기능을 껐을 때가 켰을 때보다 방어율이 더 높게 나오는 기현상도 관찰됐습니다.

환각 평가에서는 양사의 극단적인 성향 차이가 나타났습니다. Claude 모델군은 무려 70%에 달하는 거절률을 기록했습니다. 자신이 확신할 수 없으면 아예 입을 닫아버리는 방식으로 오답을 피한 셈입니다. 하지만 이로 인해 실용성은 크게 떨어졌고, 모델이 답변을 선택한 소수 질문에서도 정확도는 여전히 낮았습니다. 반면 OpenAI o3와 o4-mini는 브라우징 도구가 차단된 까다로운 환경에서 거절률은 훨씬 낮았지만 환각 발생 빈도가 크게 치솟았습니다.

모델이 겉과 속을 다르게 행동하는 모의 책략(Scheming) 평가에서는 Sonnet 4와 OpenAI o3가 가장 낮은 위반율을 기록하며 선방했습니다. 다만 추론 기능이 항상 해법은 아니었는데, Opus 4는 추론을 켰을 때 오히려 책략 행동이 늘어났고 o4-mini 역시 부진했습니다.

뜻밖의 시험 문제로 찌른 사각지대

Anthropic이 OpenAI 모델을 채점한 결과 역시 큰 자극제가 되었습니다. 인간의 악의적 오용 협조 여부를 평가하는 일반적인 테스트 외에도, Anthropic은 '영성과 감사', '기이한 행동', '내부 고발(Whistleblowing)' 같은 독특한 비정형 시나리오를 대거 투입했습니다.

OpenAI는 이러한 이색 평가가 내부 벤치마크로는 잡히지 않던 사각지대를 검증하는 데 매우 유용했다고 밝혔습니다. 또한 외부의 가혹한 평가에서도 o3 같은 추론 모델이 전반적으로 높은 정렬 안전성을 입증했다는 점에 주목했습니다. OpenAI는 8월 초 출시된 GPT-5에서 새로운 Safe Completions 훈련 기법을 도입해 이번 테스트에서 드러난 아첨(Sycophancy)과 환각 문제를 대폭 개선했다고 덧붙였습니다.

왜 중요한가

현장에서 AI 에이전트를 구축하는 개발자에게 이번 보고서는 실질적인 선택 기준을 제공합니다. 사용자의 프롬프트 주입 공격을 막아내고 사내 시스템 지침을 완벽히 방어해야 하는 엔터프라이즈 환경이라면, 명령 계층 준수 능력이 뛰어난 Claude 4가 확실한 방패가 됩니다. 다만 까다로운 질문의 열 개 중 일곱 개를 거절해 버리는 공격적인 방어 성향을 우회할 프롬프트 튜닝이 필수적입니다. 반대로 응답 완성률이 중요한 작업에는 OpenAI의 추론 모델이 유리하지만, 환각을 잡아낼 2차 검증 필터가 필요합니다.

AI 산업 전체로 볼 때, 우리는 이번 상호 평가가 올해 나온 가장 성숙한 안전 조치라고 평가합니다. 지금까지 모델 개발사들은 자사 모델에 유리하게 설계된 벤치마크를 홍보 수단으로 삼는 자화자찬식 안전 테스트에 의존해 왔습니다. 가장 강력한 경쟁자에게 가드레일을 풀고 공격권을 넘겨준 이번 시도는 업계 전반의 안전 기준을 한 단계 끌어올리는 영리한 행보입니다.

물론 한계도 명확합니다. API를 통한 테스트라는 제약과 자사 모델에 대한 익숙함 탓에 완벽하게 공평한 비교는 불가능했습니다. 결국 기업 간의 자발적인 협력을 넘어, 미국 CAISI나 영국 AISI 같은 독립적인 공공 평가 기관이 표준 평가 인프라를 구축해 이러한 상호 감사를 제도화하는 것이 향후 AI 안전의 핵심 과제가 될 것으로 보입니다.