구글·UCLA, 'SRL' 프레임워크 공개: 소형 AI 모델의 복잡 추론 역량 대폭 개선

아이에게 어려운 수학 문제를 가르칠 때, 풀이 과정이 훌륭했어도 마지막 계산 하나 틀렸다고 0점을 주면 학습이 제대로 될 리 없습니다. 그렇다고 모범 답안의 글씨 하나까지 그대로 베껴 쓰게 하면 문제가 조금만 바뀌어도 손을 대지 못합니다.

최근 AI 모델 훈련이 겪고 있던 난제도 이와 같았습니다. 구글 클라우드와 UCLA 연구진은 소형 언어 모델이 복잡한 다단계 추론을 효과적으로 학습할 수 있도록 돕는 새로운 강화학습 프레임워크 '지도 강화학습(SRL, Supervised Reinforcement Learning)'을 공개했습니다.

모 아니면 도 방식의 한계

그동안 언어 모델의 추론 능력 향상은 최종 정답 여부만을 따져 보상을 주는 강화학습(RLVR)이 이끌어왔습니다. 하지만 제한된 연산 자원 안에서 작은 모델이 고난도 문제의 정답을 스스로 찾아낼 확률은 매우 낮습니다.

게다가 10단계 추론 중 9단계를 완벽하게 풀었더라도 마지막 단계에서 실수하면 보상이 전혀 주어지지 않습니다. 부분적인 정답에서 아무것도 배우지 못하는 희소 보상 문제가 발생하는 것입니다. 반대로 전문가 풀이를 그대로 따라 쓰게 하는 지도 미세조정(SFT)은 과적합에 취약하고 고품질 데이터를 구축하는 비용이 지나치게 큽니다.

생각은 자유롭게, 핵심 행동은 정교하게

SRL은 이 두 방식의 균형을 맞춘 절충안을 제시합니다. 문제 해결을 일련의 핵심 '행동'을 실행하는 순차적 의사결정 과정으로 재구성했습니다.

수학 문제라면 특정 대수적 연산이 하나의 행동이 되고, 코딩 에이전트라면 코드 저장소에서 특정 명령어를 실행하는 것이 행동이 됩니다. 연구진은 강력한 교사 모델이 생성한 풀이 궤적을 활용해 소형 모델을 훈련합니다.

모델은 생각 태그 안에서 내부 추론을 거친 뒤 행동을 출력하며, SRL은 이 행동이 전문가의 행동과 얼마나 유사한지 단계별로 평가해 촘촘한 피드백을 제공합니다. 구글의 연구 과학자 I-Hung Hsu는 현실 세계의 문제 해결은 경로는 다양할 수 있어도 각 단계의 적절성에 대한 명확한 기준이 존재한다며, 이 방식이 데이터 분석 자동화나 공급망 최적화 같은 영역에 적합하다고 설명했습니다.

왜 중요한가

우리는 SRL이 대형 모델 중심의 추론 경쟁에서 소형 오픈소스 모델이 실질적인 돌파구를 마련할 수 있는 영리한 해법이라고 평가합니다.

많은 기업과 개발자에게 초대형 모델의 추론 비용과 지연 시간은 큰 부담입니다. 소형 모델을 특정 도메인에 맞춰 저비용으로 고성능 추론 에이전트로 탈바꿈시킬 수 있다면 온디바이스 AI나 엔터프라이즈 환경에서의 실용성은 급격히 높아집니다. 특히 과정의 투명성이 중요한 소프트웨어 엔지니어링이나 업무 자동화 분야에 즉시 적용해 볼 만한 가치가 있습니다.

거대 교사 모델을 단순 정답 자판기가 아니라 핵심 행동을 지도하는 코치로 활용한다는 점도 효율적입니다. 막대한 연산 자원을 쏟아부어 무차별적인 탐색을 할 수 없는 연구팀에게 현실적인 대안을 제시했습니다.

다만 교사 모델이 생성한 중간 행동 자체에 잠재적 오류가 있을 경우, 촘촘한 단계별 보상이 오히려 잘못된 행동 양식을 소형 모델에 고착화시킬 수 있다는 점은 주의해야 합니다. 결국 중간 단계를 얼마나 신뢰성 있게 검증하느냐가 상용화의 핵심 변수가 될 것으로 보입니다.