Qwen 正式上線 QwQ-32B：320 億引數推理模型，對標 DeepSeek-R1

想要擁有頂尖的推理和思考能力，AI 一定得做成幾千億引數的龐然大物嗎？阿里 Qwen 團隊顯然不這麼認為。

Qwen 團隊正式釋出了全新的推理模型 QwQ-32B。模型總引數量為 325 億（非嵌入引數 310 億），直接瞄準了 DeepSeek-R1 和 OpenAI 的 o1-mini 等業內頂尖推理模型。

用 32B 的體量死磕強化學習

QwQ 是 Qwen 系列裡專門主打思考與複雜推理的產品線，這次的 QwQ-32B 則是建立在成熟的 Qwen2.5-32B 底座之上。

它的訓練涵蓋了預訓練和後訓練兩個階段，不僅結合了監督微調，更關鍵的是深入探索了強化學習（RL）的縮放規律。

團隊發現，持續擴大強化學習的訓練規模，能在數學和程式設計硬核任務上帶來極其明顯的提升。這直接讓一箇中等體量的密集模型，有底氣叫板巨型 MoE 架構。

架構設計上，QwQ-32B 包含 64 層網路，採用了 RoPE、SwiGLU、RMSNorm 以及注意力 QKV 偏置，並使用 40 個查詢頭搭配 8 個鍵值頭的分組查詢注意力。

更亮眼的是它的上下文能力：原生支援多達 131,072 個 token。不過官方提示，如果單次提示詞長度超過 8,192 token，部署時需要啟用 YaRN 機制來保證長文本表現。

上手極低門檻與本地部署

為了讓大家儘快體驗，團隊直接把試玩入口鋪滿了各大平臺。

普通使用者現在可以直接登入 Qwen Chat 或者 Hugging Face Spaces 的 Demo 頁面線上對話，測試它的推理鏈條。

對於想在本地或自建伺服器部署的開發者，Hugging Face 已經提供了完整權重，並且快速適配了 vLLM、SGLang 以及 Docker 執行方案。

程式碼呼叫方面，只要使用 4.37.0 以上版本的 Transformers 庫，幾行 Python 程式碼就能直接拉起推理管線，跑經典的草莓問題或是高難度數學題。

為什麼重要

我們認為，QwQ-32B 的核心價值在於它把頂尖推理能力的門檻打了下來。

過去幾個月裡，以 DeepSeek-R1 為代表的推理模型雖然驚豔，但巨型 MoE 模型的部署開銷依然讓不少獨立開發者和小團隊望而卻步。

而 32B 這種密集引數規模，剛好卡在一個極其甜點的硬體位置。它意味著開發者和中小型企業無需維護複雜的分散式大叢集，在一兩張主流顯示卡上用 vLLM 或 SGLang 就能低成本跑起來私有化推理服務。

從技術路線上看，阿里的聰明之處在於用足了後訓練紅利。他們沒有盲目堆引數，而是證明了持續縮放強化學習可以壓榨出中等模型的巨大潛力，尤其是在數學和程式碼這種有明確驗證反饋的邏輯領域。

不過挑戰依然存在。推理模型為了深思熟慮往往會生成長長的思維鏈，在 32B 規模下雖然算力需求降低了，但單次響應的延遲依然不容忽視；而且超過 8k token 必須開啟 YaRN，對生產環境的配置也提出了額外要求。無論如何，對於需要高性價比邏輯推理的團隊來說，這都是目前最值得立刻上手測試的開源模型之一。