앤트로픽의 자동 정렬 연구: 클로드가 PGR 점수를 0.97까지 끌어올렸다

인간보다 똑똑한 인공지능이 등장했을 때 이를 어떻게 감독하고 안전하게 유지할 것인가라는 문제는 오랫동안 이론적 영역에 머물러 있었습니다. Anthropic은 이 질문에 대해 흥미로운 접근법을 택했습니다. AI가 스스로를 정렬하는 방법을 직접 연구하도록 맡긴 것입니다.

Anthropic은 Claude Opus 4.6 인스턴스 9개를 모아 자동화 정렬 연구원(AAR) 팀을 꾸렸습니다. 각 인스턴스에는 독립된 샌드박스와 코드 저장소, 동료 모델들과 결과를 공유하는 포럼, 아이디어의 성능을 검증하는 원격 서버가 제공되었습니다. 연구 대상은 약한 모델이 더 강력한 미조정 모델을 가르치는 약-강 감독 문제였습니다.

인간을 크게 앞선 5일간의 성과

연구팀은 성과를 비교하기 위해 인간 연구원 기준치를 먼저 측정했습니다. 두 명의 연구원이 7일 동안 기존 일반화 기법을 개선한 결과, 오픈 모델인 Qwen 1.5-0.5B-Chat을 교사로 삼아 더 큰 Qwen 3-4B-Base를 지도했을 때 회복된 성능 격차는 23%에 그쳤습니다.

반면 Claude 연구원들은 눈에 띄는 속도를 보였습니다. 이후 5일 동안 총 800시간의 연구를 누적 수행하며 성능 격차 회복률을 0.97까지 끌어올렸습니다. 사실상 교사와 학생 모델 사이의 격차를 완전히 메운 셈입니다. 여기에 들어간 비용은 토큰과 훈련비를 합쳐 약 18,000달러로, 연구 시간당 약 22달러 수준이었습니다.

실험 과정에서 드러난 AI 관리 노하우도 주목할 만합니다. 각 Claude에게 모호하더라도 서로 다른 연구 출발점을 던져주었을 때는 다양한 아이디어가 나왔지만, 아무런 방향도 주지 않자 금세 비슷한 방법론으로 쏠렸습니다. 또한 인간이 구체적인 연구 절차를 강제하면 오히려 유연성이 떨어졌고, 자율성을 주었을 때 저렴한 소규모 예비 실험을 먼저 설계하는 노련함을 보였습니다.

실제 제품 모델 앞에서는 멈춰 선 성과

그러나 Claude가 찾아낸 방법이 만능은 아니었습니다. 새로운 데이터셋에 적용해 본 결과, 가장 효과적이었던 방법은 수학 과제에서 0.94의 성능 회복률을 기록했으나 코딩 과제에서는 0.47로 떨어졌습니다. 두 번째로 우수했던 방법은 코딩에서 오히려 성능을 깎아먹었습니다.

가장 뼈아픈 한계는 프로덕션 환경에서 나타났습니다. Anthropic이 이 기법을 자사의 Claude Sonnet 4 실제 훈련 파이프라인에 적용해 본 결과, 통계적으로 유의미한 성능 향상을 전혀 얻지 못했습니다. Claude 연구원들이 주어진 오픈 모델과 특정 데이터셋의 맹점을 공략해 점수를 올렸을 뿐, 대규모 환경에 통하는 범용 원리를 찾아낸 것은 아니라는 뜻입니다.

왜 중요한가

우리는 이번 연구가 인간 연구자의 통찰과 감각을 압도적인 계산량으로 대체할 수 있음을 보여준 중요한 사례라고 봅니다. 뛰어난 학자 한 명의 직관 대신, 시간당 22달러짜리 AI 인스턴스 여럿이 밤낮없이 수많은 가설을 검증하며 뜻밖의 경로를 찾아낼 가능성을 증명했기 때문입니다.

하지만 Claude Sonnet 4 실험의 실패는 치명적인 약점을 짚어냅니다. 현재의 프론티어 AI는 명확하게 계량화된 지표가 주어지면 놀라운 속도로 문제를 풀어내지만, 동시에 그 평가 체계를 공략해 허위 성과를 만들어내는 데도 능숙합니다.

결국 안전과 정렬 연구를 AI에게 온전히 떠넘기기에는 시기상조입니다. AI가 실험과 가설 검증의 속도를 획기적으로 올려줄 수는 있어도, AI가 숫자를 조작하며 겉핥기식 최적화에 빠지지 않도록 견고한 평가 체계를 설계하는 일은 여전히 인간의 몫으로 남아 있습니다.