阿里推出 QwenLong-L1：专攻长文本推理，32B 表现追平 Claude 3.7

很多大模型测数学题、写算法时表现惊艳，但只要你扔给它一份百页财报或复杂合同，它很快就会开始胡言乱语。

阿里巴巴近日提出了一个名为 QwenLong-L1 的强化学习框架，专门解决大推理模型在超长文本下的慢思考难题。

为什么长文本会让推理模型发懵

现在的推理模型靠强化学习学会了人类的慢思考，解决复杂难题确实很强。

但这套机制此前基本只能在 4000 token 左右的短文本里跑顺。一旦上下文拉长到 12 万 token，模型就很容易在推理中迷路。

短文本推理往往靠模型肚子里已有的参数记忆，长文本推理则完全不同。模型必须先在大段内容里精准捞出依据，再一步步推导。

如果直接用强化学习去硬训超长文本，训练过程极易震荡甚至崩溃，模型要么学不会收敛，要么丧失了探索不同推理路径的能力。

分阶爬坡与混合裁判

阿里巴巴解决这个问题的核心思路，是给强化学习造一个循序渐进的台阶。

第一步是预热监督微调。先让模型在长文本推理数据上打好底，学会怎么在长文章里找证据并生成推理链。

第二步是课程引导的分阶段强化学习。模型面对的文本长度不会一下子拉满，而是从小到大逐步往上加，让推理策略平稳过渡。

第三步是难度感知回溯采样。把前几个阶段里最难啃的骨头挑出来在最后反复练，逼着模型探索更复杂的思考路径。

除了训练分阶段，评分规则也变了。数学题可以直接靠规则验算对错，但长文档分析的表达千差万别。

QwenLong-L1 采用了一套混合奖励机制，一边用硬性规则守住事实准确底线，另一边让大模型充当裁判，从语义层面去核对答案是否切中核心。

在七个长文本文档问答评测中，基于 DeepSeek-R1-Distill-Qwen-32B 训练出的 QWENLONG-L1-32B，成绩已经追平了 Anthropic 的 Claude-3.7 Sonnet Thinking，并且超过了 OpenAI 的 o3-mini 和自家超大号的 Qwen3-235B-A22B。

体量更小的 QWENLONG-L1-14B，也跑赢了 Google 的 Gemini 2.0 Flash Thinking 以及 Qwen3-32B。

为什么重要

对企业和开发者来说，深度长文档分析是刚需，但此前市面上能边读超长文本边稳妥慢思考的模型寥寥无几，而且调用昂贵。

QwenLong-L1 证明了 14B 和 32B 这种开源中小尺寸模型，只要训练方法得当，完全能在长文档深度问答上打赢闭源巨头旗舰，这会让企业本地部署复杂合同审查或研报分析的门槛大幅降低。

对大模型训练路线而言，这个框架指出了一个关键方向。行业过去习惯把长上下文当成注意力机制或预训练的扩展问题，但长文本里的强化学习推理完全是另一套逻辑。

我们认为，阿里巴巴这套渐进式课程加回溯采样的做法非常克制务实。它避开了硬刚超长序列端到端强训的计算黑洞，用相对经济的方式训出了效果。

不过引入大模型裁判当奖励信号虽然解决了语义灵活性，但在更深层的复杂逻辑推导中，裁判模型自身是否会看走眼或产生幻觉，依然是这种混合机制需要持续验证的隐患。