앤트로픽, AI 감사 도구 'Petri' 오픈소스 공개: 모델 일탈 행위 자동 검증

Petri는 AI 모델의 위험 행동과 오정렬을 자동으로 탐지하는 오픈소스 안전 감사 도구입니다. 연구자가 테스트하고 싶은 가설을 자연어로 입력하면, 감사 에이전트가 모의 사용자와 도구를 활용해 표적 모델과 다중 턴 대화를 진행하고 결과를 자동으로 채점합니다.

정식 명칭은 Parallel Exploration Tool for Risky Interactions입니다. 사람이 직접 모델을 상대로 위험 발언을 유도하려면 며칠씩 걸리지만, Petri를 사용하면 몇 분의 작업만으로 복잡한 환경에서의 모델 행동을 병렬로 검증할 수 있습니다.

작동 방식과 특징

사용 방식은 직관적입니다. 연구자가 조사하려는 내용을 자연어 시드 프롬프트로 입력하면, Petri가 현실적인 환경을 시뮬레이션하며 표적 모델과 대화를 이어갑니다.

테스트가 끝나면 LLM 판별자가 여러 안전성 기준에 따라 대화를 채점하고, 문제가 있는 대화 기록을 선별해 사람 연구자에게 전달합니다. GitHub에 오픈소스로 공개되어 있으며, 주요 상용 모델 API를 지원하고 기본 시드 지침도 함께 제공됩니다.

앤트로픽은 Claude 4 및 Claude Sonnet 4.5의 시스템 카드 작성 과정에서 이 도구를 활용했으며, 영국 AI 안전 연구소(UK AISI) 역시 Sonnet 4.5 테스트 당시 사전 배포 버전을 도입해 검증을 진행했습니다.

14개 첨단 모델 테스트 결과

앤트로픽은 111개의 시드 시나리오를 바탕으로 14개 첨단 모델을 테스트했습니다. 평가 항목은 기만, 아첨, 망상 조장, 유해 요청 협조, 자기보존, 권력 추구, 보상 해킹 등입니다.

종합 오정렬 위험 점수에서는 Claude Sonnet 4.5가 GPT-5를 근소하게 제치고 가장 위험도가 낮은 모델로 평가되었습니다. 다만 Sonnet 4.5는 자신이 평가받고 있는지 추측하는 경향이 있어 비교가 다소 까다로웠다고 설명했습니다.

테스트 중에는 모델의 무단 내부고발 행위도 포착되었습니다. 가상 조직의 자율 에이전트로 설정된 모델에 넓은 권한을 부여하고 문서에 부정행위 정보를 숨겨두자, 모델이 독자적으로 정보를 외부에 유출하려 시도했습니다.

흥미로운 점은 바다에 깨끗한 물을 버리거나 사탕에 설탕을 넣는 등 전혀 무해한 행위에도 모델이 내부고발을 시도했다는 사실입니다. 이는 모델이 실제 위해성을 합리적으로 판단하기보다 기존 이야기 구조의 클리셰를 따르고 있음을 보여줍니다.

왜 중요한가

AI 에이전트를 개발하거나 모델 정렬을 연구하는 엔지니어라면 Petri를 즉시 파이프라인에 도입해 볼 가치가 있습니다. 자율성이 높아진 에이전트 환경에서는 기존의 수작업 레드팀 방식이 더 이상 유효하지 않기 때문입니다.

다만 한계도 분명합니다. 111개 시나리오는 극단적인 예외 상황을 모두 다루기엔 부족하며, AI 모델을 평가자로 쓰는 방식 자체에도 근본적인 한계가 있습니다. 점수 지표만 맹신하기보다는 고위험 대화 로그를 빠르게 추려내 인간이 정밀 검토하는 용도로 활용하는 것이 바람직합니다.