본문으로 건너뛰기
IFAI

연구

앤트로픽, 멀티모달 탈옥 기법 'Best-of-N' 연구 공개

게시 확산 지수 33

앤트로픽은 새로운 공동 연구 'Best-of-N Jailbreaking'을 발표했다. 연구진은 텍스트, 시각, 오디오 전반에 걸쳐 첨단 AI 모델의 안전장치를 우회할 수 있는 단순하고 범용적인 탈옥 기법을 발견했다고 밝혔다.

프론티어 AI 모델이 점점 정교해지고 있지만, 안전망을 우회하는 방법은 생각보다 단순할 수 있습니다. Anthropic은 최근 공동 연구를 통해 'Best-of-N 탈옥(Best-of-N Jailbreaking)' 기법을 발견했다고 밝혔습니다.

텍스트·시각·음성을 모두 뚫는 범용 우회법

Anthropic에 따르면 이 방식은 최첨단 AI 모델의 안전 장치를 우회하는 단순하면서도 범용적인 탈옥 기법입니다.

가장 큰 특징은 공격 범위입니다. 기존의 탈옥 기법들이 주로 텍스트 프롬프트 조작에 머물렀던 것과 달리, 이번에 확인된 방식은 텍스트는 물론 이미지와 음성 전반에서 모두 작동합니다. 하나의 공통된 원리로 서로 다른 모달리티의 방어벽을 동시에 뚫을 수 있다는 의미입니다.

왜 중요한가

멀티모달 환경에서 기존의 안전 대책이 얼마나 취약한지 잘 보여줍니다.

현재 업계의 안전 정렬(Alignment) 작업은 여전히 텍스트 중심으로 이루어지는 경우가 많아, 시각과 음성이 결합된 입력에 대한 방어는 상대적으로 미흡한 편입니다. 단순한 단일 기법으로 세 가지 모달리티의 안전망이 모두 뚫릴 수 있다면 기존의 땜질식 방어로는 한계가 분명해 보입니다.

Anthropic이 취약점을 숨기지 않고 공개 연구로 공유한 점은 긍정적으로 평가할 만합니다. 악의적인 공격에 노출되기 전에 범용 우회 경로를 공론화함으로써, 주요 AI 개발사들이 더 근본적인 안전 아키텍처를 재설계하도록 자극할 것입니다.

출처 (1)

  1. [1]
    @AnthropicAI(새 탭에서 열림)원문twitter.com

매일 AI 콘텐츠 픽