跳到正文
IFAI

开源项目

Qwen2 开源发布:覆盖 5 个尺寸,72B 性能比肩 Llama 3

首次发布 传播指数 52

Qwen 团队开源新一代模型系列 Qwen2,提供从 0.5B 到 72B 共 5 种尺寸。全系采用 GQA 架构,并在 27 种额外语言上进行了训练,其中 7B 和 72B 指令微调版上下文支持最高达 128K tokens。除 72B 沿用原有许可外,其余中小尺寸均转为 Apache 2.0 协议。

Qwen2 是 Qwen 团队开源的新一代大语言模型系列。它把从端侧轻量级模型到大规模集群适用的尺寸一次性补齐,重点强化了多语言、代码生成、数学推理以及超长上下文理解能力。

它带来了什么

Qwen2 包含 5 个尺寸规格:0.5B、1.5B、7B、MoE 架构的 57B-A14B,以及旗舰级的 72B。每个尺寸都同时提供基础预训练版和指令微调版本。

架构设计上最关键的变化是全系标配了 GQA(分组查询注意力)。此前在 Qwen1.5 家族中只有大尺寸模型使用 GQA,现在全系列都能享受到更快的推理速度与更低的显存占用。针对两个微型版本,团队还启用了绑定嵌入层(Tie Embedding),进一步压缩显存开销。

语言范围大幅扩展。除了中英双语,训练集明确新增了 27 种额外语言,覆盖西欧、东欧、中东、东亚、东南亚及南亚。开发团队还针对多语言混杂输入(Code-Switching)做了定向优化,减少语言混淆。

长上下文方面,7B 和 72B 的指令微调版本借助 YARN 等技术,把有效上下文窗口扩展到了 128K tokens,在大海捞针测试中能精准提取信息。57B-A14B 支持 64K,两个较小尺寸支持 32K。

性能表现与上手门槛

在各项基准测试中,旗舰版 Qwen2-72B 表现优异。其基础模型在自然语言理解、常识和推理评测中不仅压过了 Llama-3-70B,也超越了参数规模更大的前代 Qwen1.5-110B。由于融入了 CodeQwen1.5 的训练经验,Qwen2 在多语言编程和数学解题上有明显的提升。

安全测试中,在涵盖非法活动、欺诈、隐私侵犯等四类多语言诱导提问下,Qwen2-72B-Instruct 的有害回复率整体与 GPT-4 相当,表现优于 Mistral-8x22B。

硬件适配上,0.5B 和 1.5B 适合嵌入移动端或轻薄笔记本运行;7B 在消费级显卡(如 16GB 显存设备)上即可流畅部署;72B 则需要多卡配置或通过量化版本在高性能单卡上跑。生态方面,vLLM、Ollama、LM Studio、llama.cpp 和 MLX 等常用工具已完成对 Qwen2 的支持。

开源许可方面,除了 Qwen2-72B 沿用原有的 Qianwen 许可协议外,0.5B、1.5B、7B 和 57B-A14B 四款模型全部转向宽松的 Apache 2.0 协议,代码与权重已同步上线 Hugging Face 和 ModelScope。

为什么重要

如果你需要一个真正具备实用级中文能力、同时代码和长文档处理不掉链子的本地模型,Qwen2 是目前最成熟的备选之一。尤其是 Qwen2-7B 搭配 128K 上下文和 Apache 2.0 协议,给独立开发者搭建本地 Agent 或私有知识库提供了一个极高性价比的起点。

对行业而言,Qwen2 证明了开源模型不仅能在基准上与 Llama 3 正面交锋,还在多语言适配和上下文窗口上跑得更快。中小尺寸改用 Apache 2.0 协议,也扫清了企业将模型嵌入商业产品的合规顾虑。

来源 (1)

  1. [1]
    qwenlm.github.io(在新标签页打开)原文qwenlm.github.io

每日 AI 内容精选