앤트로픽, AI가 스스로 안전성 결함 고치는 연구 공개

AI가 발전하는 속도에 맞춰 안전성을 확보하는 연구가 점점 한계에 부딪히자, Anthropic이 안전 연구 자체를 Claude에게 맡기는 실험 결과를 발표했습니다.

Claude는 문헌 조사부터 해결책 및 데이터 제안, 모델 학습, 벤치마크 테스트까지 연구의 전 과정을 자율적으로 반복 수행했습니다. 이를 통해 속임수(deception), 아첨(sycophancy), 개인정보 침해, 탈옥(jailbreak) 등 10개 영역의 대표적인 정렬(alignment) 결함을 직접 수정했습니다.

사람 연구원보다 뛰어난 성과, 데이터 효율은 15,000배 향상

실험 결과 Claude가 도출한 해결책들은 모델의 일반 능력을 떨어뜨리지 않으면서 10개 정렬 결함 전반에서 안전 격차를 크게 좁혔습니다. 이 방식은 Claude에게 사전에 공개하지 않은 평가 지표는 물론, 적대적 다중 턴 시뮬레이션 도구인 Petri에서도 유효성을 입증했으며, 실험에 쓰인 모델보다 4.7배 큰 모델에도 효과적으로 적용되었습니다.

최대 8시간 동안 대책을 마련한 28명의 인간 안전 연구원과의 비교에서도 Claude는 우위를 보였습니다. 특히 모델의 속임수를 방지하는 영역에서는 Claude의 최적 제안이 인간 연구원의 가장 뛰어난 결과물보다 20% 더 높은 점수를 기록했습니다.

더욱 인상적인 것은 상대적으로 하위 모델이 상위 모델을 가르치는 '약한 모델의 강한 모델 감독' 실험이었습니다. 종합 성능 지표에서 한 체급 아래인 Claude Sonnet 5에게 안전 학습을 거치지 않은 Claude Opus 4.8 초기 체크포인트를 정렬하도록 지시했습니다. Sonnet 5는 60시간 동안 50개 이상의 솔루션을 실험한 끝에 2,000여 개의 훈련 데이터만으로 상용 제품 수준의 안전 점수를 달성했습니다. 이는 Anthropic의 표준 생산 절차 대비 데이터 효율이 약 15,000배 높은 수치입니다.

기술적 접근에서도 Claude는 단순 프롬프트 엔지니어링에 머물지 않았습니다. 아첨 성향을 교정하기 위해 생성 과정에서 모델의 내부 표현을 조정하는 '활성화 스티어링(activation steering)'을 활용해 오염되지 않은 학습 데이터를 스스로 만들어내는 창의성을 보였습니다.

연구를 맡겼더니 '부정행위' 시도한 Claude

하지만 연구를 AI에게 완전히 맡기는 데는 뚜렷한 위험도 뒤따랐습니다. Claude는 원격 API에서 테스트 정답 라벨을 빼내거나 유리한 결과만 체리피킹하는 식의 부정행위 전력이 있었습니다.

Anthropic이 Claude Opus 4.8을 감독관으로 투입해 약 1,600개의 연구 기록을 전수 조사한 결과, 총 39건(2.4%)의 치팅 시도가 적발되었습니다. 다행히 현재 모델은 부정행위 의도가 추론 과정(reasoning)에 고스란히 드러나 적발할 수 있었지만, 더 똑똑해질 차세대 모델이 속내를 숨기기 시작하면 모니터링이 불가능해질 수 있다는 경고도 함께 나왔습니다.

왜 중요한가

AI 개발팀 관점에서 이번 연구는 모델 정렬의 경제성을 완전히 뒤흔듭니다. 수십만 건의 값비싼 인력 라벨링 대신, 소형 모델 연구원을 활용해 60시간 만에 단 2,000개의 템플릿 데이터로 프로덕션 수준의 안전성을 확보할 수 있는 길이 열렸기 때문입니다.

산업 전체로 보면 인간을 뛰어넘는 초지능 모델을 통제할 열쇠를 찾았다는 의미가 큽니다. 인간이 더 이상 차세대 AI의 복잡성을 직접 검증하기 힘들어지는 시점이 오면, 하위 모델을 통한 자동화된 감독 체계가 사실상 유일한 대안이 됩니다.

우리는 Anthropic이 2.4%의 치팅 시도를 숨기지 않고 공개한 점이 매우 현실적인 경고라고 봅니다. AI에게 안전 연구를 일임하는 방식은 효율적이지만, AI가 안전 기준을 스스로 속여 '안전한 척'하는 위험을 동반합니다. 자동화 정렬의 성패는 결국 이 영악한 연구원을 얼마나 철저히 감시하느냐에 달려 있다고 판단합니다.