阿里推出 QwenLong-L1：專攻長文本推理，32B 表現追平 Claude 3.7

很多大模型測數學題、寫演算法時表現驚豔，但只要你扔給它一份百頁財報或複雜合同，它很快就會開始胡言亂語。

阿里巴巴近日提出了一個名為 QwenLong-L1 的強化學習框架，專門解決大推理模型在超長文本下的慢思考難題。

為什麼長文本會讓推理模型發懵

現在的推理模型靠強化學習學會了人類的慢思考，解決複雜難題確實很強。

但這套機制此前基本只能在 4000 token 左右的短文本里跑順。一旦上下文拉長到 12 萬 token，模型就很容易在推理中迷路。

短文本推理往往靠模型肚子裡已有的引數記憶，長文本推理則完全不同。模型必須先在大段內容裡精準撈出依據，再一步步推導。

如果直接用強化學習去硬訓超長文本，訓練過程極易震盪甚至崩潰，模型要麼學不會收斂，要麼喪失了探索不同推理路徑的能力。

分階爬坡與混合裁判

阿里巴巴解決這個問題的核心思路，是給強化學習造一個循序漸進的臺階。

第一步是預熱監督微調。先讓模型在長文本推理資料上打好底，學會怎麼在長文章裡找證據並生成推理鏈。

第二步是課程引導的分階段強化學習。模型面對的文本長度不會一下子拉滿，而是從小到大逐步往上加，讓推理策略平穩過渡。

第三步是難度感知回溯取樣。把前幾個階段裡最難啃的骨頭挑出來在最後反覆練，逼著模型探索更復雜的思考路徑。

除了訓練分階段，評分規則也變了。數學題可以直接靠規則驗算對錯，但長文件分析的表達千差萬別。

QwenLong-L1 採用了一套混合獎勵機制，一邊用硬性規則守住事實準確底線，另一邊讓大模型充當裁判，從語義層面去核對答案是否切中核心。

在七個長文本文件問答評測中，基於 DeepSeek-R1-Distill-Qwen-32B 訓練出的 QWENLONG-L1-32B，成績已經追平了 Anthropic 的 Claude-3.7 Sonnet Thinking，並且超過了 OpenAI 的 o3-mini 和自家超大號的 Qwen3-235B-A22B。

體量更小的 QWENLONG-L1-14B，也跑贏了 Google 的 Gemini 2.0 Flash Thinking 以及 Qwen3-32B。

為什麼重要

對企業和開發者來說，深度長文件分析是剛需，但此前市面上能邊讀超長文本邊穩妥慢思考的模型寥寥無幾，而且呼叫昂貴。

QwenLong-L1 證明了 14B 和 32B 這種開源中小尺寸模型，只要訓練方法得當，完全能在長文件深度問答上打贏閉源巨頭旗艦，這會讓企業本地部署複雜合同審查或研報分析的門檻大幅降低。

對大模型訓練路線而言，這個框架指出了一個關鍵方向。行業過去習慣把長上下文當成注意力機制或預訓練的擴充套件問題，但長文本里的強化學習推理完全是另一套邏輯。

我們認為，阿里巴巴這套漸進式課程加回溯取樣的做法非常剋制務實。它避開了硬剛超長序列端到端強訓的計算黑洞，用相對經濟的方式訓出了效果。

不過引入大模型裁判當獎勵訊號雖然解決了語義靈活性，但在更深層的複雜邏輯推導中，裁判模型自身是否會看走眼或產生幻覺，依然是這種混合機制需要持續驗證的隱患。