Qwen 正式上线 QwQ-32B：320 亿参数推理模型，对标 DeepSeek-R1

想要拥有顶尖的推理和思考能力，AI 一定得做成几千亿参数的庞然大物吗？阿里 Qwen 团队显然不这么认为。

Qwen 团队正式发布了全新的推理模型 QwQ-32B。模型总参数量为 325 亿（非嵌入参数 310 亿），直接瞄准了 DeepSeek-R1 和 OpenAI 的 o1-mini 等业内顶尖推理模型。

用 32B 的体量死磕强化学习

QwQ 是 Qwen 系列里专门主打思考与复杂推理的产品线，这次的 QwQ-32B 则是建立在成熟的 Qwen2.5-32B 底座之上。

它的训练涵盖了预训练和后训练两个阶段，不仅结合了监督微调，更关键的是深入探索了强化学习（RL）的缩放规律。

团队发现，持续扩大强化学习的训练规模，能在数学和编程硬核任务上带来极其明显的提升。这直接让一个中等体量的密集模型，有底气叫板巨型 MoE 架构。

架构设计上，QwQ-32B 包含 64 层网络，采用了 RoPE、SwiGLU、RMSNorm 以及注意力 QKV 偏置，并使用 40 个查询头搭配 8 个键值头的分组查询注意力。

更亮眼的是它的上下文能力：原生支持多达 131,072 个 token。不过官方提示，如果单次提示词长度超过 8,192 token，部署时需要启用 YaRN 机制来保证长文本表现。

上手极低门槛与本地部署

为了让大家尽快体验，团队直接把试玩入口铺满了各大平台。

普通用户现在可以直接登录 Qwen Chat 或者 Hugging Face Spaces 的 Demo 页面在线对话，测试它的推理链条。

对于想在本地或自建服务器部署的开发者，Hugging Face 已经提供了完整权重，并且快速适配了 vLLM、SGLang 以及 Docker 运行方案。

代码调用方面，只要使用 4.37.0 以上版本的 Transformers 库，几行 Python 代码就能直接拉起推理管线，跑经典的草莓问题或是高难度数学题。

为什么重要

我们认为，QwQ-32B 的核心价值在于它把顶尖推理能力的门槛打了下来。

过去几个月里，以 DeepSeek-R1 为代表的推理模型虽然惊艳，但巨型 MoE 模型的部署开销依然让不少独立开发者和小团队望而却步。

而 32B 这种密集参数规模，刚好卡在一个极其甜点的硬件位置。它意味着开发者和中小型企业无需维护复杂的分布式大集群，在一两张主流显卡上用 vLLM 或 SGLang 就能低成本跑起来私有化推理服务。

从技术路线上看，阿里的聪明之处在于用足了后训练红利。他们没有盲目堆参数，而是证明了持续缩放强化学习可以压榨出中等模型的巨大潜力，尤其是在数学和代码这种有明确验证反馈的逻辑领域。

不过挑战依然存在。推理模型为了深思熟虑往往会生成长长的思维链，在 32B 规模下虽然算力需求降低了，但单次响应的延迟依然不容忽视；而且超过 8k token 必须开启 YaRN，对生产环境的配置也提出了额外要求。无论如何，对于需要高性价比逻辑推理的团队来说，这都是目前最值得立刻上手测试的开源模型之一。