알리바바, 장문 추론 프레임워크 'QwenLong-L1' 공개…32B 모델이 클로드 3.7에 필적

수학 풀이나 코딩에서 뛰어난 성과를 내는 추론 AI도 수백 쪽에 달하는 기업 공시나 복잡한 계약서를 통째로 넣으면 엉뚱한 결론을 내리기 일쑤였습니다.

알리바바가 이러한 장문 맥락에서의 추론 한계를 극복하기 위해 새로운 강화학습 프레임워크인 QwenLong-L1을 공개했습니다.

장문 추론이 기존 모델에게 버거웠던 이유

강화학습을 거친 추론 모델은 인간의 느린 생각과 유사하게 단계별 사고를 전개하며 문제 해결력을 크게 높여왔습니다.

하지만 이 성공은 주로 4,000토큰 안팎의 짧은 텍스트에서만 유효했습니다. 입력 길이가 12만 토큰 수준으로 늘어나면 추론 능력을 확장하기가 극도로 어려워집니다.

짧은 문맥 추론이 모델 자체의 내부 지식에 크게 의존한다면, 장문 추론은 방대한 텍스트 속에서 필요한 근거를 정확히 찾아내고 이를 바탕으로 다단계 추론을 이어가야 합니다.

이를 강화학습으로 직접 훈련하려 하면 학습 과정이 매우 불안정해져 최적의 해답으로 수렴하지 못하거나 다양한 탐색 경로를 잃어버리는 문제가 발생했습니다.

단계별 훈련과 하이브리드 보상 체계

알리바바는 이 불안정성을 해결하기 위해 점진적인 커리큘럼 훈련 방식을 도입했습니다.

먼저 준비 단계로 지도 미세조정을 진행해 긴 문서에서 핵심 정보를 정확히 짚어내고 논리적 추론 사슬을 구성하는 기초 체력을 길렀습니다.

이후 커리큘럼 기반 단계별 강화학습으로 넘어가 입력 문서 길이를 단계적으로 늘려가며 추론 전략이 긴 맥락에 안정적으로 적응하도록 유도했습니다.

마지막에는 이전 단계에서 틀렸던 난도 높은 문제를 다시 모아 학습시키는 방식으로 복잡한 추론 경로 탐색을 극대화했습니다.

보상 시스템 역시 개편되었습니다. 정답이 명확한 수학 문제와 달리 장문 문서 분석은 표현이 다양하기 때문에, 엄격한 규칙 기반 검증과 의미적 유사성을 판정하는 LLM 판사를 결합한 하이브리드 보상 체계를 적용했습니다.

7개 장문 문서 질의응답 벤치마크 평가 결과, DeepSeek-R1-Distill-Qwen-32B를 기반으로 훈련된 QWENLONG-L1-32B는 Anthropic의 Claude-3.7 Sonnet Thinking에 필적하는 성능을 기록했습니다.

이는 OpenAI의 o3-mini와 대형 모델인 Qwen3-235B-A22B를 넘어선 수치이며, 더 작은 14B 모델조차 구글의 Gemini 2.0 Flash Thinking과 Qwen3-32B를 앞섰습니다.

왜 중요한가

방대한 금융 보고서나 계약서 분석은 기업들이 AI에 가장 기대하는 영역이지만, 긴 문서를 읽으며 깊이 추론하는 상용 모델은 비용 부담이 크고 접근성도 제한적이었습니다.

QwenLong-L1은 14B나 32B 수준의 오픈소스 경량 모델도 훈련 구조를 바꾸면 폐쇄형 플래그십 모델과 맞먹는 긴 문서 추론을 해낼 수 있음을 입증했습니다.

그동안 긴 문맥 지원을 단순히 어텐션 길이나 사전 학습 확장으로만 접근하던 흐름에서 벗어나, 강화학습 추론 안정화를 위한 커리큘럼 훈련을 체계화했다는 점에서 매우 실용적인 성과로 보입니다.

다만 평가 보상에 LLM 판사를 활용하는 구조 특성상, 정밀성이 생명인 고난도 법률 검토 등에서 판사 모델 자체의 판단 오류가 모델 성능을 왜곡할 가능성은 여전히 주의 깊게 살펴봐야 할 과제입니다.