앤트로픽, 프롬프트 주입 방어 강화…크롬 확장 프로그램 베타 전환
앤트로픽이 브라우저 AI 에이전트의 프롬프트 주입 공격 방어 연구 결과를 발표했다. 클로드 오퍼스 4.5는 강화학습과 악성 분류기 개선을 통해 공격 성공률을 1%로 대폭 낮췄으며, 이에 따라 '클로드 포 크롬' 확장 프로그램을 Max 플랜 사용자 대상 베타로 전환했다. 에이전트가 안전하게 웹을 탐색하는 데 진전을 이뤘으나, 앤트로픽은 1%의 실패율도 여전히 실질적인 위험이라고 지적했다.

AI에게 이메일을 정리해 달라고 맡겼는데, 거래처 문의 메일 속에 흰색 보이지 않는 글씨로 모든 기밀 문서를 외부로 전송하라는 명령이 숨겨져 있다면 어떨까요. AI가 브라우저를 직접 조작하고 버튼을 누르는 에이전트 시대로 넘어가면서, 프롬프트 인젝션은 단순한 오작동이 아니라 실질적인 보안 침해로 직결됩니다.
Anthropic은 11월 24일 브라우저 환경에서 작동하는 AI 에이전트의 프롬프트 인젝션 방어 기술 성과를 공개했습니다. 이와 함께 Claude Opus 4.5 기반의 Claude for Chrome 확장 프로그램을 리서치 프리뷰에서 베타 버전으로 전환하고, Max 플랜 가입자 전원에게 배포하기 시작했습니다.
공격 성공률을 1%로 낮춘 3단계 방어
브라우저 에이전트는 웹 탐색, 양식 작성, 파일 다운로드 등 다양한 작업을 대신 처리할 수 있지만, 방문하는 모든 웹페이지와 광고, 동적 스크립트가 악성 명령의 통로가 될 수 있습니다.
Anthropic은 여러 검증된 인젝션 기법을 결합한 내부 적응형 Best-of-N 공격 모델을 적용해 평가를 진행했습니다. 그 결과 새롭게 구성된 브라우저 확장 시스템은 공격 성공률을 1% 수준까지 낮췄습니다.
이러한 방어는 세 가지 방식으로 구현되었습니다. 첫째는 강화학습을 통한 모델 자체의 면역력 강화입니다. 모의 웹 환경에서 권위적이거나 긴급해 보이는 악성 명령을 Claude가 스스로 식별하고 거부할 때 보상을 주는 방식입니다.
둘째는 컨텍스트 윈도우로 들어오는 외부 데이터를 감시하는 분류기 개선입니다. 숨겨진 텍스트, 조작된 이미지, 기만적인 UI 요소를 사전에 걸러내 모델의 위험 행동을 제어합니다.
셋째는 대규모 전문 인력으로 구성된 레드팀 운영입니다. Anthropic은 새로운 침투 경로를 발견하는 데에는 여전히 자동화 도구보다 인간 보안 연구원이 뛰어나다고 밝혔습니다.
왜 중요한가
사용자 관점에서 보면 웹 브라우저를 능동적으로 제어하는 AI 에이전트가 한 단계 더 실용적인 도구로 다가왔습니다. Max 플랜 구독자라면 지금 당장 일상적인 웹 서핑이나 반복 작업에 시험해 볼 만하지만, 금융 거래나 민감한 계정이 연결된 작업에는 여전히 맡기지 않는 것이 안전하다고 판단됩니다.
Anthropic의 발표에서 돋보이는 부분은 솔직함입니다. 1%의 공격 성공률 역시 여전히 의미 있는 위험이며, 웹 환경에서 프롬프트 인젝션에 완전히 면역된 브라우저 에이전트는 없다고 명확히 선을 그었습니다. 문제를 완전히 해결했다고 과장하지 않는 태도가 오히려 신뢰를 줍니다.
AI 에이전트 경쟁의 무게중심도 변화하고 있습니다. 화면의 버튼을 클릭하고 양식을 채우는 능력 자체보다, 적대적인 웹 환경에서 조종당하지 않는 방어 역량이 엔터프라이즈 도입의 진정한 기준선이 될 것으로 보입니다.
출처 (1)
- anthropic.com(새 탭에서 열림)원문anthropic.com