앤트로픽, AI 유해성 평가 프레임워크 공개…불필요한 거절 45% 감축

그동안 AI 안전성 담론은 주로 생화학 테러나 통제 불능 같은 SF 영화식 파멸 시나리오에 치우쳐 있었습니다. 하지만 현실에서 일반 사용자가 겪는 문제는 사기 범죄 악용이나, 아무런 해가 없는 질문에도 입을 닫아버리는 모델의 과도한 거절이었습니다.

Anthropic은 AI가 유발할 수 있는 크고 작은 위해를 종합적으로 평가하고 완화하기 위한 프레임워크를 공개했습니다. 기존의 '책임 있는 확장 정책(RSP)'이 주로 파국적인 재앙 방지에 초점을 맞췄다면, 이번 체계는 사기, 아동 안전, 허위 정보 같은 일상적인 부작용까지 체계적으로 관리하겠다는 취지입니다.

AI 위해를 나누는 5가지 기준

Anthropic은 잠재적 악영향을 신체적 영향, 심리적 영향, 경제적 영향, 사회적 영향, 개인의 자율성 영향이라는 다섯 가지 기본 영역으로 분류했습니다.

단순히 위험 여부만 보는 것이 아니라, 발생 가능성과 파급 규모, 피해 대상, 지속 시간, 기술의 인과적 기여도 등을 종합적으로 따져서 대응책을 결정합니다. 실제 규제 방식도 사전·사후 레드팀 테스트부터 프롬프트 제어, 심할 경우 계정 차단까지 단계별로 적용됩니다.

구체적인 적용 사례로 두 가지가 소개되었습니다.

첫 번째는 모델이 PC를 직접 조작하는 '컴퓨터 사용(Computer Use)' 기능입니다. AI가 금융 플랫폼이나 메신저를 통제할 경우 자동화 사기나 피싱에 악용될 수 있습니다. Anthropic은 사용자의 프라이버시를 지키면서도 위해 행위를 탐지하기 위해 '계층적 요약'이라는 새로운 감시 기법을 적용했다고 밝혔습니다.

두 번째는 모델의 과도한 거절 문제입니다. 무조건 안전만 강조하면 일반적인 대화조차 거부하게 됩니다. Anthropic은 Claude 3.7 Sonnet에서 모호한 프롬프트를 처리하는 방식을 개선해, 안전 기준을 유지하면서도 불필요한 답변 거절을 45% 줄였다고 설명했습니다.

왜 중요한가

우리는 Anthropic의 이번 행보가 실현 가능성이 모호했던 AI 안전 논의를 현실적인 엔지니어링 영역으로 끌어내렸다는 점에서 영리한 선택이라고 봅니다.

실제 개발자와 일반 사용자 입장에서 가장 피로감을 주는 문제는 인류 멸망이 아니라, 정상적인 코드나 비즈니스 질문에 툭하면 거부 메시지를 띄우는 모델의 답답함이었습니다. Claude 3.7 Sonnet에서 불필요한 거절을 45%나 깎아낸 것은 실사용 생산성을 즉각적으로 높여주는 변화입니다.

산업 전체로 보면 에이전트 시장 선점을 위한 안전 기준선 마련입니다. AI가 사용자의 마우스와 키보드를 대신 잡는 시대가 오면서, 은행 계좌나 사내 커뮤니케이션 도구에서 사고를 치지 않는다는 보증이 있어야 기업 고객을 유치할 수 있습니다.

다만 심리적 영향이나 개인의 자율성 같은 영역은 기준 자체가 모호할 수밖에 없습니다. 위해 행동을 탐지하는 과정에서 도입된 계층적 요약 기술이 이용자의 프라이버시 침해 논란 없이 완벽하게 작동할 수 있을지는 앞으로 지켜봐야 할 대목입니다.