앤트로픽 버그바운티 시작: 미공개 클로드 탈옥 취약점에 최대 2.5만 달러

Anthropic이 공개되지 않은 안전 가드레일을 뚫어내는 보안 연구원들에게 최대 2만 5천 달러의 현상금을 내걸었습니다.

Anthropic은 취약점 포상 플랫폼 HackerOne과 협력하여 자사의 최신 안전 시스템을 극한으로 시험하는 새로운 버그 바운티 프로그램을 시작했다고 발표했습니다. 이번 테스트 대상은 아직 외부에 배포되지 않은 최신 버전의 '헌법적 분류기(Constitutional Classifiers)'입니다.

대량살상무기 탈옥에 걸린 2만 5천 달러

이번 프로그램의 목표는 Claude의 안전 조치를 광범위한 주제에 걸쳐 일관되게 우회하는 '유니버설 탈옥(universal jailbreak)'을 찾아내는 것입니다.

Anthropic이 특별히 주시하는 영역은 화학, 생물학, 방사능, 핵(CBRN) 무기와 관련된 악용 위험입니다. 이 가드레일은 자사의 책임 있는 확장 정책(RSP)에 정의된 인공지능 안전 수준 3(ASL-3) 배포 표준을 충족하기 위한 핵심 보호 장치입니다.

초대된 연구원들에게는 Claude 3.7 Sonnet 기반의 미출시 분류기 시스템에 대한 사전 접근 권한이 주어졌으며, 검증된 유니버설 탈옥 취약점에는 최대 2만 5천 달러의 포상금이 걸렸습니다.

종료 직후 Claude Opus 4로 무대 이동

이 프로그램은 5월 18일에 빠르게 마감되었지만, 안전 검증은 곧바로 다음 단계로 넘어갔습니다.

Anthropic은 5월 22일 업데이트를 통해 참가자들을 새로운 버그 바운티로 전환했다고 밝혔습니다. 이번에는 차세대 모델인 Claude Opus 4 환경에서 헌법적 분류기를 집중 공격하는 것이 핵심 과제입니다.

동시에 소셜 미디어 등 공개 포럼에서 발견된 생물학적 위협 관련 ASL-3 탈옥 사례에 대한 제보도 함께 접수받고 있습니다.

왜 중요한가

미출시 모델의 가드레일을 출시 전 외부 레드팀에 넘겨 집중 타격하게 만드는 방식은 대단히 현실적이고 영리한 선택입니다.

보안 연구원 입장에서는 최대 2만 5천 달러의 보상뿐만 아니라, Claude Opus 4 같은 최첨단 모델을 정식 배포 전에 직접 시험해 볼 수 있다는 점 자체가 강력한 유인책입니다. 다만 일상적인 욕설이나 편향을 유도하는 수준이 아니라, CBRN 관련 규제를 지속적으로 뚫어내는 고난도 취약점만 인정되므로 진입 장벽은 매우 높습니다.

업계 전체로 보면 Anthropic은 자사의 ASL-3 프레임워크가 단순한 서류상 선언이 아님을 증명하고 있습니다. 폐쇄적인 내부 검증을 넘어 글로벌 보안 커뮤니티를 통한 실전 검증을 표준화함으로써, 경쟁사들에게도 안전 기준을 투명하게 입증하라는 압박을 가하는 셈입니다.

그러나 한계도 분명합니다. 현상금을 노리는 연구원들은 보상을 입증하기 쉬운 기존 프롬프트 주입 기법에 집중하는 경향이 있습니다. 향후 복잡한 자율 에이전트 환경에서 벌어질 다단계 악용 시나리오까지 이러한 분류기 테스트만으로 완벽히 차단할 수 있을지는 여전히 지켜볼 대목입니다.