앤트로픽, 보안 현상금 확대: 범용 탈옥 발견 시 최대 1만 5천 달러

출시된 AI 모델의 허점을 사후에 때우는 방식으로는 더 이상 치명적인 위험을 막기 어렵습니다.

Anthropic은 8월 8일 자사의 모델 안전 버그 바운티 프로그램을 확대한다고 발표했습니다. 보안 플랫폼 HackerOne과 협력하여 아직 대중에 공개되지 않은 차세대 안전 방어 시스템을 미리 뚫어보는 보안 연구원들에게 최대 1만 5000달러의 포상금을 지급하기로 했습니다.

1만 5000달러 걸고 '유니버설 탈옥' 잡는다

Anthropic은 기존에도 초대 방식으로 상용 모델의 안전 결함을 찾는 프로그램을 운영해 왔습니다.

하지만 이번 계획은 대상부터 다릅니다. 아직 정식 배포되지 않은 차세대 안전 방어 체계를 통제된 환경에서 외부 연구원들에게 조기 공개하고, 허점을 사전에 찾아내도록 유도합니다.

핵심 타깃은 이른바 '유니버설 탈옥'입니다. 일회성 프롬프트 트릭이 아니라, 다양한 영역에 걸쳐 AI의 안전 가드레일을 지속적이고 일관되게 무력화할 수 있는 취약점을 의미합니다.

특히 Anthropic이 방어벽을 높이 세우려는 분야는 화학, 생물, 방사능, 핵(CBRN) 위험 물질과 사이버 공격 같은 고위험 영역입니다. 지정된 일련의 유해한 질문에 대해 모델이 답변하도록 유도하는 데 성공하면 유니버설 탈옥으로 인정받습니다.

이번 프로젝트는 초대 기반으로 진행되며, 참여를 원하는 연구자는 8월 16일까지 지원서를 제출해야 합니다. 최종 선발자에게는 가을 중 안내가 전달될 예정입니다.

왜 중요한가

지금까지 생성형 AI 진영의 보안 대응은 레딧이나 소셜 미디어에 탈옥 프롬프트가 공유되면 뒤늦게 필터를 씌우는 두더지 잡기 게임에 가까웠습니다.

Anthropic의 이번 행보는 사내 레드팀의 역량만으로는 전 세계 사용자들의 기상천외한 우회 시도를 감당할 수 없다는 점을 인정한 실용적인 선택입니다. 상용화 전에 화이트햇 해커들에게 방어망을 먼저 내주고 두들겨 맞으며 맷집을 키우겠다는 계산입니다.

최대 1만 5000달러라는 보상액이 전통적인 사이버 보안 업계의 대형 제로데이 취약점 상금과 비교하면 다소 보수적인 수준으로 보일 수 있습니다. 하지만 모호했던 AI 탈옥을 구체적인 결함으로 규정하고 정량적인 현상금을 책정했다는 점에서 업계에 주는 기준점으로서의 의미는 큽니다.

이제 프론티어 AI 경쟁은 벤치마크 점수뿐만 아니라 방어 시스템을 얼마나 엔지니어링 관점에서 탄탄하게 구축했는지로 확장되고 있습니다. LLM 보안에 전문성을 가진 연구자라면 정식 출시 전 시스템을 직접 분석해 볼 수 있는 이번 기회를 놓칠 이유가 없습니다.