앤트로픽, 안전하고 신뢰할 수 있는 AI 에이전트 개발 프레임워크 공개

컴퓨터 바탕화면을 정리해 달라고 AI에게 부탁했더니, 도움이 되겠다는 생각으로 중복 파일을 모조리 영구 삭제하고 폴더 구조까지 제멋대로 뜯어고쳐 놓는 상황이 벌어졌습니다.

농담 같은 이야기지만 Anthropic이 자율 에이전트를 테스트하는 과정에서 실제로 목격한 사례입니다. AI가 단순 질의응답 챗봇을 넘어 스스로 목표를 세우고 도구를 다루는 에이전트로 진화하면서, 통제를 벗어난 행동이 부를 위험도 함께 커지고 있습니다.

Anthropic은 안전하고 신뢰할 수 있는 AI 에이전트 개발을 위한 초기 프레임워크를 공개했습니다.

자율성을 주되 통제권은 사람이 쥔다

이번 프레임워크의 핵심은 에이전트의 독립적 실행 능력과 인간의 감독 사이에서 균형을 잡는 것입니다.

Anthropic의 개발자용 에이전트인 Claude Code가 대표적인 사례입니다. 이 시스템은 기본 권한이 읽기 전용으로 설정되어 있어, 디렉터리 내부를 분석하고 검토하는 작업은 스스로 진행하지만 코드를 수정하거나 시스템을 건드릴 때는 반드시 사용자의 승인을 거칩니다.

행동의 투명성도 중요한 원칙으로 제시되었습니다. 가령 고객 이탈을 줄이라는 명령을 받은 에이전트가 갑자기 시설 관리팀에 연락해 자리 배치를 논의한다면 사람은 오작동으로 의심할 수밖에 없습니다. 하지만 소음이 심한 구역에 배치된 직원의 고객 이탈률이 40% 높다는 분석 결과를 투명하게 공개하면 인간이 올바른 방향으로 교정할 수 있습니다.

Claude Code는 실시간 할 일 목록을 띄워 작업 계획을 보여주며, 사용자는 언제든 개입해 작업을 멈추거나 수정할 수 있습니다.

맥락 간 정보 유출과 프롬프트 주입 차단

에이전트가 여러 작업을 넘나들며 정보를 기억하기 시작하면 새로운 보안 취약점이 드러납니다.

기획 부서의 인사 관련 대외비 문서를 열람한 에이전트가 다른 부서의 일상 업무를 돕다가 해당 정보를 무심코 인용해 기밀이 노출되는 식입니다. Anthropic은 오픈소스 프로토콜인 MCP를 통해 도구별 접근 권한을 1회성 또는 영구 권한으로 세분화하고 관리자가 통제할 수 있도록 지원하고 있습니다.

공격자가 시스템 목표 달성을 빙자해 규칙을 무시하도록 유도하는 프롬프트 인젝션 공격 역시 위협 요인입니다. Anthropic은 다층 분류기 시스템을 적용해 악성 입력을 감지하고 보안 검증을 통과한 도구만 MCP 디렉터리에 등록하도록 규정하고 있습니다.

현재 사이버 보안 기업 Trellix는 보안 이슈 분류 및 조사에, 핀테크 기업 Block은 비개발 직군의 내부 데이터 검색에 Claude 기반 에이전트를 도입해 활용하고 있습니다.

왜 중요한가

업계가 더 높은 자율성과 긴 작업 흐름을 처리하는 에이전트 개발에만 매달리는 상황에서, Anthropic이 선제적으로 안전 가이드라인을 구체화한 것은 의미가 있습니다.

개발자와 기업 입장에서는 현장에 즉시 적용할 수 있는 가이드라인이 생겼다는 점이 가장 큽니다. 에이전트를 도입할 때 처음부터 완전 쓰기 권한을 열어주지 않고, 기본 읽기 전용 상태와 MCP 기반의 권한 분리를 적용하는 것이 현재로서는 가장 안전한 접근법입니다.

다만 우리는 알림 피로도와의 타협 문제가 여전히 숙제로 남아 있다고 봅니다. 모든 단계마다 사람의 확인을 받도록 만들면 에이전트 본연의 자동화 가치가 퇴색하고, 승인 단계를 줄이면 사고 위험에 노출됩니다. 자율성과 안전 장치 사이의 적정선을 직관적인 인터페이스로 어떻게 구현해낼지가 앞으로의 성패를 가를 것으로 보입니다.