앤트로픽 실측 조사: AI 에이전트 자율 작업 45분 돌파, 숙련자 자동 승인 40% 넘어

AI 에이전트 시대가 열렸다고 하지만, 실무 현장에서 사람들은 에이전트에게 과연 얼마만큼의 권한을 넘겨주고 있을까요?

Anthropic은 2월 18일, 코딩 에이전트인 Claude Code와 공개 API에서 발생한 수백만 건의 상호작용 데이터를 분석한 연구 결과를 발표했습니다. 핵심은 분명합니다. 현재의 모델들은 실제 사용자들이 허용하고 있는 수준보다 훨씬 더 높은 자율성을 감당할 잠재력을 갖추고 있습니다.

숙련자는 자동 승인을 켜고, Claude는 먼저 멈춘다

대다수 작업에서 에이전트의 개입 시간은 여전히 짧습니다. Claude Code의 턴당 실행 시간 중앙값은 약 45초 수준으로, 지난 몇 달 동안 큰 변화 없이 안정적으로 유지되었습니다.

하지만 가장 복잡한 작업들이 몰려 있는 상위 0.1% 영역에서는 큰 변화가 관측되었습니다. 인간의 개입 없이 모델이 스스로 작업을 지속하는 연속 실행 시간이 2025년 10월 25분 미만에서 2026년 1월 45분 이상으로 두 배 가까이 늘어났습니다.

사용자 경험에 따른 행동 패턴도 극명하게 갈립니다. 50회 미만 세션을 진행한 초보 사용자는 전체 자동 승인 옵션을 약 20%의 세션에서만 사용했지만, 750회 이상 사용한 숙련자는 이 비율이 40%를 넘었습니다. 매 단계를 검토하던 방식에서 벗어나 일단 자율적으로 실행하도록 두고 이상이 생길 때만 개입하는 방식으로 전환한 셈입니다.

특히 가장 복잡한 작업에서는 사람이 작업을 강제로 중단시키는 횟수보다 Claude Code가 스스로 멈춰 서서 되묻는 횟수가 두 배 이상 많았습니다. 사내 데이터에서도 고난도 작업 성공률이 8월부터 12월 사이에 두 배로 뛰는 동안 세션당 사람의 개입 횟수는 5.4회에서 3.3회로 줄었습니다.

개발 영역이 50%, 조심스러운 고위험 분야

공개 API 전반을 살펴보면 에이전트 활동의 약 50%가 여전히 소프트웨어 엔지니어링에 집중되어 있습니다. 의료, 금융, 사이버 보안 분야에서도 에이전트 사용이 나타나기 시작했으나, 실행된 작업의 대부분은 위험도가 낮고 되돌릴 수 있는 형태였습니다.

METR 같은 외부 평가에서는 Claude Opus 4.5가 사람이 5시간 걸릴 작업을 해낼 수 있다고 보지만, 실제 환경의 99.9% 턴 시간은 약 42분에 그칩니다. 모델의 잠재적 능력과 현장 배포 사이의 간극이 여전히 존재함을 보여줍니다.

왜 중요한가

이번 발표는 벤치마크 점수가 아닌 실제 프로덕션 데이터를 통해 에이전트 도입의 현주소를 명확히 짚어줬다는 점에서 의미가 큽니다. 개발자 입장에서는 신뢰가 수백 번의 상호작용을 거쳐 점진적으로 쌓인다는 사실을 확인한 만큼, 단계적 자동 승인 워크플로를 구축해 볼 만합니다.

산업 전체로 보면 이제 경쟁의 핵심이 무조건적인 추론 성능 향상에서 모니터링과 제어 인터페이스 설계로 넘어가고 있음을 시사합니다.

우리는 에이전트가 무작정 끝까지 달리는 대신 모호한 지점에서 스스로 멈춰 질문을 던지는 구조를 정착시킨 점을 매우 현명한 접근으로 평가합니다. 앞으로 기업들이 안심하고 에이전트를 도입하려면, 완벽한 자율성보다는 통제권과 개입 타이밍을 얼마나 직관적으로 조율해 주느냐가 승부처가 될 것으로 보입니다.