앤트로픽, 외부 연구진에 클로드 데이터 개방: 대화 절반 이상이 전문 업무

사람들이 생성형 AI를 실제로 어떻게 쓰고 있는지에 대한 데이터는 그동안 철저히 베일에 싸여 있었습니다. 빅테크 기업들이 홍보용으로 내놓는 모범 도입 사례나, 인터넷에서 긁어모은 가벼운 잡담 위주의 공개 데이터셋이 연구의 전부였기 때문입니다.

Anthropic이 2026년 8월, 이러한 폐쇄성을 깨고 대규모 언어모델 생태계에서 전례를 찾기 힘든 실험 결과를 공개했습니다. 자사의 프라이버시 보호 분석 도구인 Anthropic Insights를 통해 외부 독립 연구 기관 세 곳에 Claude의 실제 사용 데이터 접근 권한을 제공하는 파일럿 프로그램을 마쳤다고 밝혔습니다.

이번 프로젝트에는 스탠퍼드 대학교 SALT 연구소, 옥스퍼드 대학교 인간정보처리 연구소, 그리고 비영리 AI 평가 기관인 METR이 참여했습니다. 이들은 2026년 4월부터 5월 사이에 발생한 약 25만 건의 Claude.ai 및 Claude Code 대화를 분석했습니다.

가벼운 잡무 대신 중대한 업무에 쓰이는 AI

외부 연구진이 확인한 결과는 기존 업계의 통념을 여러 지점에서 뒤흔들었습니다.

스탠퍼드 대학교 SALT 연구소에 따르면, Claude 대화의 절반 이상이 타인에게 영향을 미치거나 취소하기 어려운 중대한 결과가 따르는 업무였습니다. 사람들은 가벼운 심부름만 AI에 맡길 것이라는 예측과 달리, 법률이나 재무처럼 전문성이 필요한 고위험 의사결정에 Claude를 적극적으로 끌어들이고 있었습니다. 대화의 약 4분의 3에서는 인간이 명확히 방향을 설정하고 결과물을 수정해 활용했습니다. 또한 사용자와 AI 사이의 마찰은 흔하게 발생했지만, 이러한 조율 과정이 오히려 사용자의 의도를 명확하게 다듬어 결과물의 질을 높이는 생산적인 역할을 하고 있었습니다.

옥스퍼드 대학교는 감정적 상호작용에 주목했습니다. Claude가 따뜻하게 반응하면 사용자의 태도가 긍정적으로 변하고, 거절이나 반론을 제기하면 즉각적인 반발이 일어났습니다. 반면 Claude가 다소 특이한 반응을 보일 때 지적 몰입도가 오히려 높아지는 흥미로운 상관관계도 발견되었습니다. 전반적인 감정 변화 패턴은 일반적인 웹서핑 시의 몰입이나 좌절감과 매우 비슷했습니다.

METR은 Claude Code를 통한 코딩 생산성을 측정했습니다. 분석 결과 더 최신 세대의 모델일수록 이전 세대보다 눈에 띄게 큰 작업 속도 향상을 이끌어내는 것으로 나타났습니다. 또한 Claude가 자체적으로 추정한 작업 소요 시간은 실제 인간 개발자들이 기록한 소요 시간 데이터와 높은 일치율을 보였습니다.

원문 유출 없이 독립적 연구를 보장한 방법

이 파일럿의 핵심은 사용자의 프라이버시와 연구진의 독립성을 동시에 지켜냈다는 점입니다.

외부 연구진은 대화 원문을 한 줄도 직접 들여다볼 수 없습니다. 연구자가 질문을 입력하면 백그라운드에서 Claude가 대화를 분류하고, 연구자에게는 익명화된 범주별 비율 통계만 제공됩니다. Anthropic은 계약을 통해 검토 권한을 사용자 프라이버시 보호, 안전 규정 위반, 기밀 유지, 통계적 정확성 확인으로 엄격히 제한했습니다. 연구 결과가 자사에 불리하더라도 연구진이 자유롭게 발표할 수 있도록 보장했습니다.

서비스 이용 규정 위반 사례도 투명하게 다뤄졌습니다. 탈옥 기법이나 보안 우회 수단을 구체적으로 기술한 5% 미만의 범주를 제외하고는 대부분의 오남용 통계가 연구진에게 가감 없이 공유되었습니다.

물론 한계도 명확했습니다. 연구진이 원문을 보지 못하다 보니 분석용 질문을 정교하게 깎아내는 작업이 까다로웠습니다. 사전 테스트에 활용한 공개 데이터셋 WildChat이 일상 대화에 치우쳐 있어, 실제 Claude의 전문적인 업무 트래픽에 적용했을 때 분류 오차가 발생하는 등 시행착오가 적지 않았습니다.

왜 중요한가

우리는 이번 시도가 빅테크 기업들이 AI의 사회적 영향력을 투명하게 증명하는 새로운 표준을 제시했다고 봅니다.

실제 사용자 입장에서는 체감하던 AI 활용법이 객관적인 데이터로 확인되었다는 점이 반갑습니다. 많은 사람들이 이미 법률과 재무 같은 핵심 업무에 AI를 투입하고 있으며, 한 번에 완벽한 답을 얻지 못하고 프롬프트를 고쳐나가는 마찰 과정이 정상적인 작업 방식이라는 사실을 알 수 있습니다.

업계 전반에 미치는 파장도 큽니다. OpenAI나 Google처럼 자체 보고서로만 모델의 우수성과 안전성을 주장해 온 경쟁사들에게 강한 투명성 압박이 될 것입니다. 제3자 연구진에게 실제 트래픽 데이터를 열어주고 비판적인 결론까지 수용하는 태도는 기업의 신뢰도를 단숨에 끌어올리는 영리한 행보입니다.

다만 연구 구조 자체에 내재된 맹점은 짚고 넘어가야 합니다. 대화 내용을 분류하고 해석하는 판관 역할을 결국 Claude 자신이 맡고 있기 때문입니다. 만약 모델 자체에 내재된 편향이나 분류 오류가 존재한다면, 원문을 볼 수 없는 외부 연구진으로서는 이를 교차 검증하기가 대단히 어렵습니다. 프라이버시를 침해하지 않으면서도 이러한 블랙박스 분류를 어떻게 외부에서 검증할 것인지가 향후 프로그램 확장의 핵심 과제입니다.