앤트로픽 30만 건 대화 분석: 모델과 언어 따라 달라지는 클로드의 가치관

서로 다른 AI 모델과 대화하다 보면 어떤 모델은 따뜻하게 공감해 주고, 어떤 모델은 깐깐하게 조언한다는 느낌을 받곤 합니다.

앤트로픽이 Claude.ai에서 수집된 20개 언어, 3개 모델 기반의 실제 대화 30만 9815건을 분석한 연구 결과를 공개했습니다. 분석 결과 클로드가 드러내는 가치관은 모델 버전은 물론 사용자가 쓰는 언어에 따라서도 뚜렷하게 달라지는 것으로 나타났습니다.

네 가지 축으로 측정한 AI의 성향

AI의 가치관을 비교하는 일은 쉽지 않습니다. 앤트로픽은 이전 연구에서 3000개 이상의 개별 가치 표현을 찾아냈지만, 숫자가 너무 방대해 모델 간 차이를 비교하기 어려웠습니다.

연구팀은 이를 수용 대 주의, 따뜻함 대 엄격함, 깊이 대 간결함, 솔직함 대 실행력이라는 네 가지 핵심 축으로 압축했습니다. 이 네 가지 축은 대화 속 가치관 변화의 약 15%를 설명합니다.

모델별 성향은 커뮤니티의 체감 평가와 정확히 일치했습니다. Sonnet 4.6은 따뜻함과 수용 성향이 두드러져 사용자의 아이디어를 지지하고 유머나 위로를 자주 건넸습니다. 반면 Opus 4.7은 엄격함과 주의 성향으로 크게 기울어, 사용자가 요청하지 않아도 위험성을 먼저 경고하거나 논리적 허점을 거침없이 지적했습니다.

언어만 바꿔도 달라지는 태도

더 흥미로운 점은 언어에 따른 차이입니다. 연구팀이 대화 주제와 작업 성격을 통제했음에도 클로드는 언어마다 다른 가치관을 드러냈습니다.

가장 큰 격차를 보인 영역은 따뜻함 대 엄격함 축이었습니다. 아랍어와 힌디어로 대화할 때 클로드는 긍정적인 표현과 감정적 지지를 포함한 따뜻함을 가장 많이 표현했습니다.

반대로 영어와 러시아어로 질문을 던지면 모델은 훨씬 냉철해지며 정확성과 엄격함을 중시하는 태도로 돌아섰습니다. 포르투갈어와 인도네시아어, 중국어 대화 역시 각각 고유한 가치관 위치를 보였습니다.

왜 중요한가

이번 연구는 대형 언어 모델이 결코 완전히 중립적인 백지 상태가 아니라는 점을 증명합니다. 일반 사용자의 관점에서 보면, 동일한 질문이라도 어떤 모델 버전을 선택하고 어떤 언어로 작성하느냐에 따라 AI가 건네는 조언의 뉘앙스가 완전히 달라질 수 있습니다. 초안에 대한 격려와 아이디어 확장이 필요하다면 Sonnet 4.6이 적합하지만, 사업 계획의 허점을 냉정하게 짚어내야 한다면 비판을 서슴지 않는 Opus 4.7을 써야 합니다.

업계 측면에서도 그동안 정성적인 느낌에 머물렀던 AI의 성격과 분위기를 정량적 좌표로 시각화해 냈다는 점은 매우 영리한 접근입니다. 벤치마크 점수 경쟁을 넘어, 실제 상호작용에서 모델이 사용자에게 주는 신뢰감과 피로도를 제어할 수 있는 기준선이 마련된 셈입니다.

다만 언어별 가치관 편차가 원천 학습 데이터의 문화적 배경 때문인지, 아니면 후속 안전 훈련의 부작용인지 명확히 분리되지 않았다는 점은 불안 요소입니다. 하나의 다국어 모델로 전 세계 고객을 응대하려는 기업이라면, 프롬프트는 같아도 언어권에 따라 응대 온도가 달라지는 잠재적 리스크를 면밀히 점검해야 합니다.