앤트로픽 연구: 코딩할 때 AI 의존하면 숙련도 17% 떨어진다

모르는 코드가 나왔을 때 AI에게 통째로 작성을 맡기면 당장 일은 빠르게 끝납니다. 하지만 그렇게 일하고 나면 머릿속에는 무엇이 남을까요?

Anthropic이 소프트웨어 엔지니어 52명을 대상으로 진행한 무작위 대조 시험 결과를 공개했습니다. AI 코딩 어시스턴트를 활용해 새로운 라이브러리를 학습하며 작업하게 한 뒤 이해도를 시험해 봤더니, AI를 사용한 그룹의 시험 점수가 직접 코드를 짠 그룹보다 17% 낮게 나타났습니다. 학점으로 치면 거의 두 단계나 떨어진 셈입니다.

AI를 쓴 그룹은 과제를 끝내는 시간이 평균 약 2분 단축되는 데 그쳤고, 이마저도 통계적으로 유의미한 차이는 아니었습니다. 반면 점수 격차가 가장 크게 벌어진 영역은 코드에서 오류를 찾아내는 디버깅 문제였습니다.

편하게 짠 코드가 남긴 실력의 공백

이번 실험에는 주 1회 이상 Python을 1년 넘게 사용해 온 주니어 중심 엔지니어 52명이 참여했습니다. 이들은 모두 AI 도구 사용 경험이 있었지만, 실험 과제에 쓰인 비동기 프로그래밍 라이브러리 Trio는 한 번도 다뤄본 적이 없었습니다.

참가자들은 튜토리얼을 보며 기능을 구현한 직후 곧바로 퀴즈를 풀었습니다. AI 없이 직접 손으로 코드를 작성한 그룹은 평균 67점을 받았습니다. 반면 화면 옆에 AI 비서를 두고 언제든 정답 코드를 받아볼 수 있었던 그룹은 평균 50점에 머물렀습니다.

손으로 직접 코딩한 개발자들은 문법 오류와 개념 미숙으로 수많은 에러를 겪었습니다. 하지만 그 에러를 스스로 해결하는 고통스러운 과정을 거치면서 자연스럽게 디버깅 역량이 길러졌습니다. AI에게 매끄러운 정답을 바로 받아본 참가자들은 이 학습 기회를 통째로 건너뛴 것입니다.

AI를 다루는 방식이 성적을 갈랐다

흥미로운 점은 AI를 썼다고 해서 모두가 낮은 점수를 받은 것은 아니라는 사실입니다. 차이는 AI와 상호작용하는 방식에서 나왔습니다.

화면 녹화 분석 결과, 시험 점수가 40% 미만인 참가자들은 사고 과정을 AI에 완전히 넘겨버린 경우가 많았습니다. 코드 작성을 통째로 맡기거나, 에러 로그가 뜨면 이유를 생각하지 않고 AI에게 수정을 맡기는 방식이었습니다. 이들은 과제는 가장 빨리 끝냈지만 배운 것은 거의 없었습니다.

반대로 65% 이상 고득점을 기록한 이들은 AI를 개념 학습 파트너로 썼습니다. 가장 성적이 좋았던 유형은 AI에게 Trio의 동작 원리와 개념만 묻고 실제 코드는 직접 작성한 그룹이었습니다. 이들은 에러를 스스로 해결하면서도 전체 참가자 중 두 번째로 빠르게 과제를 마쳤습니다.

왜 중요한가

지금 많은 기업이 개발 속도를 올리기 위해 AI 도입을 밀어붙이고 있지만, 이번 연구는 그 속도 뒤에 가려진 인지적 외주화의 위험을 정확히 짚어냈습니다.

개발자 개인 관점에서 보면, 새로운 기술이나 프레임워크를 배울 때 AI에게 코드를 통째로 맡기는 것은 실력 향상을 가로막는 지름길입니다. 티켓 하나를 몇 분 일찍 쳐내는 것보다 중요한 것은 시스템이 터졌을 때 원인을 파헤치는 디버깅 직관입니다. AI가 주는 답을 무비판적으로 복사해 붙여넣다 보면, 정작 모델이 환각을 일으켰을 때 대처할 능력을 잃게 됩니다.

업계 차원에서도 경종을 울립니다. 앞으로 단순 코드 작성이 자동화될수록 인간 엔지니어의 핵심 역할은 AI가 짠 코드를 검증하고 결함을 찾아내는 감독관이 될 것입니다. 하지만 주니어 시절부터 AI에 의존해 디버깅 훈련을 건너뛴다면, 미래의 복잡한 시스템을 감시할 숙련된 시니어는 어디서 나와야 할지 의문이 남습니다.

우리는 Anthropic이 자사 모델의 생산성을 맹목적으로 홍보하는 대신, 기술 습득 과정에서 발생하는 트레이드오프를 솔직하게 밝힌 점이 매우 인상적이라고 봅니다. 앞으로의 AI 개발 도구는 정답을 바로 던져주는 방식에서 벗어나, 개발자가 직접 고민하고 원리를 깨닫도록 유도하는 교육적 설계로 진화해야 할 것으로 보입니다.