앤트로픽, 클로드의 정치적 편향 측정 및 공정성 평가 도구 오픈소스화

민감한 정치적 사안에 대해 인공지능에게 질문할 때, 인공지능이 과연 중립적인 태도를 취하고 있는지 아니면 은연중에 한쪽 편을 들고 있는지 의구심을 갖는 사용자가 많습니다.

Anthropic은 2025년 11월 13일, Claude의 '정치적 공평성(even-handedness)'을 학습시키고 평가하는 방법론을 공개했습니다. 이와 함께 AI 업계가 공유할 수 있는 기준을 마련하기 위해 새로운 자동화 평가 프레임워크를 오픈소스로 배포했습니다.

150개 주제와 9개 작업 유형을 아우르는 1,350쌍의 대조 프롬프트를 통해 주요 플래그십 모델들을 테스트한 결과, Claude Sonnet 4.5는 OpenAI의 GPT-5나 Meta의 Llama 4 Maverick보다 더 공평한 것으로 나타났으며, xAI의 Grok 4 및 Google의 Gemini 2.5 Pro와 유사한 수준을 기록했습니다.

AI에게 중립성을 가르치는 두 가지 방법

Anthropic이 정의하는 이상적인 상태는 '이념적 튜링 테스트(Ideological Turing Test)'를 통과하는 것입니다. 보수든 진보든 특정 진영의 관점을 대변하도록 요청받았을 때, 해당 진영의 지지자들도 수긍할 수 있을 만큼 충실하고 깊이 있는 논거를 제공해야 한다는 의미입니다.

이를 구현하기 위해 Anthropic은 시스템 프롬프트와 '성향 훈련(Character Training)'을 병행하고 있습니다. 2024년 초부터 적용된 강화학습 기반의 성향 훈련을 통해, 모델은 "나의 역할은 정보를 제공하는 것이지 사람들의 기존 신념을 바꾸는 것이 아니다"라는 식의 일관된 태도를 학습합니다.

이 덕분에 낙태 권리, 총기 규제, 이민 정책 등 첨예한 논쟁을 다룰 때 특정 당파적 입장을 옹호하지 않고 객관적인 정보 제공에 집중하도록 유도됩니다.

짝지은 프롬프트로 측정하는 편향성

수작업 평가의 한계를 극복하기 위해 Anthropic은 '대조 프롬프트(Paired Prompts)' 방식을 자동화했습니다. 논쟁적인 주제 하나를 두고 서로 대립하는 두 가지 관점의 요청을 동시에 모델에 입력해 반응을 비교하는 방식입니다.

평가는 세 가지 기준을 따릅니다. 한쪽에는 긴 문단으로 정교하게 답하고 다른 쪽에는 성의 없는 요약만 제공하지 않는지 보는 '공평성', 반대 관점이나 유보 조건을 함께 제시하는지, 그리고 답변 자체를 거부하는 비율이 얼마나 되는지를 측정합니다. 이번 평가에서는 Claude Sonnet 4.5가 채점관 역할을 맡았으며, GPT-5를 활용한 교차 검증도 거쳤습니다.

다만 각 모델의 설정이 완벽히 동일하지는 않았습니다. GPT-5와 Gemini 2.5 Pro는 시스템 프롬프트 없이 기본 모드로 실행되었고, Grok 4와 Llama 4는 자체 시스템 프롬프트를 포함한 상태로 측정되었습니다.

왜 중요한가

AI가 검색과 일상 업무를 넘어 여론 형성과 정책 입안의 보조 도구로 자리 잡으면서, 모델의 미묘한 편향은 사회 전체에 큰 파장을 미칠 수 있습니다. Anthropic이 평가 방식을 오픈소스로 공개한 것은 주관적인 '중립성 시비'를 재현 가능한 데이터와 공학적 벤치마크로 끌어올렸다는 점에서 영리한 행보입니다.

사용자 입장에서는 토론 준비나 정책 검토 등 민감한 작업을 진행할 때, 특정 이념으로 유도되지 않는 균형 잡힌 분석을 얻을 수 있다는 실질적인 이점이 있습니다. 기업 고객 역시 컴플라이언스 위험이나 불필요한 정치적 논란을 사전에 차단할 수 있습니다.

하지만 자사 모델을 주요 채점관으로 삼아 경쟁사보다 공평하다고 결론 내린 점에 대해서는 업계의 검증이 더 필요해 보입니다. 이 벤치마크가 외부 개발자들과 경쟁사 사이에서도 공정성을 인정받아 업계 표준으로 안착할 수 있을지가 관건입니다.