텐센트, 라벨링 데이터 없이 스스로 학습하는 AI 프레임워크 'R-Zero' 공개

인공지능 모델의 추론 능력을 끌어올릴 때 가장 큰 골칫거리는 사람이 일일이 고품질 문제를 만들고 정답을 라벨링해야 한다는 점이었습니다. 사람의 손을 거치는 데이터 구축은 비용이 막대할 뿐 아니라, AI의 한계를 인간 수준에 가두는 병목이 되곤 했습니다.

텐센트 AI 랩(Tencent AI Lab)과 세인트루이스 워싱턴대학교 연구진은 사람이 라벨링한 데이터를 단 하나도 쓰지 않고도 대형언어모델(LLM)이 스스로 추론 능력을 높일 수 있는 훈련 프레임워크 'R-Zero'를 공개했습니다.

출제자와 문제 풀이자의 상호 진화

R-Zero의 핵심은 단일 기본 모델을 '챌린저(Challenger)'와 '솔버(Solver)'라는 두 가지 역할로 나누어 서로 경쟁시키는 데 있습니다. 두 모델은 강화학습을 통해 서로 상호작용하며 함께 진화합니다.

챌린저의 임무는 솔버의 현재 능력 경계에 딱 걸치는, 너무 쉽지도 불가능하지도 않은 새로운 문제를 만들어내는 것입니다. 이렇게 만들어진 문제들은 다양성 검증을 거쳐 새로운 학습 데이터로 쓰입니다.

솔버는 이 문제들을 풀어내며 학습하는데, 정답 여부는 외부 해설지 대신 솔버가 이전 시도들에서 도출한 다수결 투표를 통해 판정합니다. 전 과정에 사람의 개입이 전혀 필요 없는 폐쇄 루프 구조입니다.

논문 공동 저자인 세인트루이스 워싱턴대 박사과정 황청송(Chengsong Huang) 연구원은 실제 환경에서 가장 어려운 것은 정답을 내는 것이 아니라 난이도가 점진적으로 높아지는 참신한 문제를 만드는 일이라고 설명했습니다. 훌륭한 학생보다 훌륭한 교사를 찾기가 훨씬 어렵듯, 이 공진화 구조는 맞춤형 커리큘럼을 짜주는 교사를 자동 생성한 셈입니다.

수학 훈련으로 범용 추론 능력까지 확보

연구진은 Qwen3 및 OctoThinker 제품군을 포함한 여러 오픈소스 모델에 R-Zero를 적용해 성능을 시험했습니다. 먼저 수학 문제로 자가 훈련을 진행한 뒤, MMLU-Pro나 SuperGPQA 같은 범용 벤치마크에서도 성능이 향상되는지 살폈습니다.

실험 결과 모델 전반에서 유의미한 성능 향상이 나타났습니다. Qwen3-4B-Base 모델은 수학 추론 벤치마크 전반에서 평균 6.49점 상승했습니다.

더 큰 체급인 Qwen3-8B-Base 모델 역시 세 번의 반복 학습을 거치며 평균 수학 점수가 5.51점 올랐습니다. 특히 1회 차 반복 학습 직후 성능이 급격히 상승하며, 챌린저가 설계한 커리큘럼의 효과를 입증했습니다.

왜 중요한가

우리는 R-Zero와 같은 라벨 프리 자가 진화 프레임워크가 AI 업계의 가장 큰 난제인 고품질 인간 데이터 고갈 문제를 해결할 중요한 열쇠라고 봅니다.

기업이나 연구 조직 입장에서 복잡한 추론 작업을 수행하는 전문 모델을 만들려면 막대한 데이터 구축 비용이 들었습니다. 이 방식이 고도화된다면 오픈소스 베이스 모델과 컴퓨팅 자원만으로도 현장 맞춤형 추론 모델을 직접 강화해 쓸 수 있어, 진입 장벽이 크게 낮아집니다.

R-Zero의 영리한 점은 모델 훈련의 초점을 단순 풀이가 아니라 적응형 문제 출제에 맞췄다는 데 있습니다. 다만 솔버의 다수결 투표로 정답을 결정하는 방식은 수학처럼 명확한 정답이 존재하는 영역에 편중되어 있다는 한계도 보입니다. 정답이 뚜렷하지 않은 열린 질문 영역에서 자칫 잘못된 논리가 서로 강화되는 환각 루프에 빠질 위험은 여전히 남아 있습니다. 그럼에도 인간의 개입 없이 모델 스스로 커리큘럼을 짜고 성장할 수 있음을 입증했다는 점에서 주목할 가치가 충분합니다.