앤트로픽, 클로드 안전 체계 공개: 다층 방어망과 실시간 탐지 구조

AI 모델이 똑똑해질수록 이를 악용해 악성코드를 짜거나 대량 스팸을 뿌리려는 시도 역시 정교해집니다. 대부분의 모델이 키워드만 보고 '답변할 수 없습니다'라며 기계적으로 거절할 때, Anthropic은 다른 길을 택했습니다.

Anthropic은 8월 12일 자사 AI 모델 Claude의 안전을 지키는 'Safeguards(안전장치)' 팀의 운영 방식을 상세히 공개했습니다. 정책 수립부터 모델 미세조정, 배포 전 위험 평가, 실시간 위협 탐지에 이르는 전 생애주기 방어 전략입니다.

무조건적인 거절 대신 맥락을 읽는 법 훈련

Anthropic은 잠재적 유해성을 신체, 심리, 경제, 사회, 개인 자율성 등 5개 영역으로 분류하는 통합 유해 프레임워크를 운영합니다. 테러, 아동 안전, 정신건강 등 각 분야 외부 전문가와 협력해 극한의 프롬프트 공격을 퍼붓는 취약점 테스트도 상시 진행합니다.

대표적으로 위기 지원 단체 ThroughLine과 손잡고 자해 및 정신건강 관련 응답을 정교화했습니다. 민감한 단어가 나왔다고 무작정 대화를 거부하는 대신, 사용자의 절박한 호소와 실제 위험한 악용 의도를 구분해 섬세하게 공감하고 대응하도록 훈련한 것입니다.

2024년 미국 대선 당시에는 전략대화연구소와 협력해 Claude가 오래된 선거 정보를 제공할 가능성을 점검하고, 선거 정보를 찾는 사용자에게 TurboVote 같은 공신력 있는 출처로 안내하는 배너를 도입하기도 했습니다.

수조 개 토큰을 실시간 감시하는 소형 Claude 군단

배포 이후의 실시간 방어는 특수 미세조정된 Claude 기반 '분류기(Classifiers)'들이 담당합니다. 이 분류기들은 수조 개에 달하는 입출력 토큰을 실시간으로 병렬 스캔하며 스팸이나 악성코드 생성 시도를 감시합니다.

이상 징후가 포착되면 시스템은 시스템 프롬프트를 동적으로 수정해 Claude의 응답 방향을 안전한 쪽으로 유도(Steering)합니다. 대화를 아예 강제 중단하는 조치는 극단적인 경우로 한정했습니다.

단일 프롬프트로는 알아채기 힘든 대규모 여론 조작이나 자동화된 악용은 '계층적 요약' 기법으로 잡아냅니다. 계정 내 여러 대화를 단계별로 요약해 거시적인 패턴을 분석하는 방식입니다. 컴퓨터 제어 기능(computer use)을 공개하기 전에도 스팸 대량 살포 위험을 사전 평가에서 발견하고, 계정 차단 및 프롬프트 인젝션 방어책을 먼저 구축한 뒤 배포했습니다.

왜 중요한가

그동안 생성형 AI 업계의 안전 대책은 정상적인 질문까지 무차별 차단해 사용자 경험을 해치는 부작용을 낳았습니다. 개발자가 보안 취약점 점검 코드를 묻거나 이용자가 가벼운 하소연을 해도 훈계를 늘어놓는 모델은 실무에서 외면받기 십상입니다.

Anthropic이 취한 방식의 강점은 안전을 모델의 일방적인 도덕성 훈련에만 맡기지 않고, 소형 분류기와 동적 프롬프트 조율이라는 인프라 수준의 다중 방어선으로 풀어냈다는 데 있습니다. 유연한 대화 경험을 해치지 않으면서 실제 악의적 공격만 핀포인트로 걸러내겠다는 의도입니다.

물론 대규모 트래픽에 실시간 분류기를 상시 가동하는 데 따른 연산 비용과 응답 지연 문제는 여전히 부담입니다. 분류기의 허점을 노리는 새로운 우회 기법도 끊임없이 등장할 것입니다. 하지만 AI 안전을 일회성 정렬 작업이 아니라 지속적인 위협 모니터링과 보안 엔지니어링의 관점으로 전환했다는 점에서, 다른 AI 기업들도 결국 마주해야 할 표준적인 접근법을 제시했다고 평가할 만합니다.