跳到正文
IFAI

开源项目

DeepSeek 开源 Coder V2:编程能力超越 GPT-4 Turbo

首次发布 传播指数 59

DeepSeek 开源混合专家代码模型 DeepSeek Coder V2,支持 338 种编程语言与 128K 上下文。它在 HumanEval 等代码评测中超越了 GPT-4 Turbo 和 Claude 3 Opus,成为首个在编程基准上击败顶尖闭源方案的开源模型。提供 16B 和 236B 两种尺寸,遵循 MIT 协议。

DeepSeek 开源 Coder V2:编程能力超越 GPT-4 Turbo
图:venturebeat.com

DeepSeek Coder V2 是一个完全开源的代码大模型。它最大的卖点,就是在代码生成和数学解题上,跑分直接干翻了 GPT-4 Turbo 和 Claude 3 Opus,也是目前首个在核心编程基准上超越顶尖闭源模型的开源项目。

这次更新最直接的变化是容量和视野。上一代模型只支持 86 种编程语言和 16K 上下文,而 V2 一下子扩充到了 338 种编程语言,上下文窗口直接拉到 128K,处理大型代码仓库或跨文件重构轻松了很多。

它是怎么做到的

模型底座来自上个月发布的 DeepSeek-V2,采用混合专家架构(MoE)。团队在原有基础上又追加预训练了 6 万亿 token,让整体训练量达到了 10.2 万亿 token。

这批新数据里,60% 是来自 GitHub 和 CommonCrawl 的源代码,10% 是数学数据,剩下 30% 是自然语言。底座吃透了海量高质量代码,逻辑能力自然水涨船高。

架构设计也很聪明。它提供了 16B 和 236B 两个版本,虽然参数总量看着不小,但每次推理分别只激活 2.4B 和 21B 参数。这意味着你在本地或者私有云部署时,硬件推理成本比传统稠密模型低得多。

实测战绩与短板

在评估代码生成与修 bug 能力的基准测试中,236B 版本的 DeepSeek Coder V2 在 MBPP+ 拿到 76.2 分,HumanEval 达到 90.2 分,Aider 达到 73.7 分。

这些成绩不仅把 Llama 3-70B 和 Codestral 甩在身后,也全面超越了 GPT-4 Turbo、Claude 3 Opus 和 Gemini 1.5 Pro。放眼整个行业,只有 GPT-4o 靠着微弱优势勉强保住了第一的位置。

在数学相关的 GSM8K 和 MATH 测试中,它同样咬住了顶尖闭源梯队。而在偏综合理解的 MMLU 测试上,它拿到了 79.2 分,虽然比不上通用怪兽 GPT-4o 的 88.7 分,但对一个代码特化模型来说,日常自然语言交互完全够用。

不过官方也坦承了一个短板:模型目前的指令遵循能力还有打磨空间。在面对非常复杂、长链条的真实工程指令时,偶尔还是会漏掉开发者的细微要求。

怎么跑起来

DeepSeek 这次极为大方,直接采用 MIT 协议开源,允许无限制的商业使用和学术研究。

两套尺寸的 Base 和 Instruct 版本都已经上传到 Hugging Face,开发者可以直接拉取权重自行微调或本地运行。

如果你的显存不够跑大模型,或者单纯想先体验效果,官方也在自研平台上提供了按量计费的 API,并且上线了免配置的网页 Chatbot 供大家免费上手试用。

为什么重要

对于任何在乎代码隐私、必须把模型跑在内网的公司,以及算力有限的独立开发者来说,DeepSeek Coder V2 是目前最值得立刻换上的主力代码模型。过去闭源模型在代码理解上的绝对壁垒,第一次被开源方案彻底打破了。

我们认为,DeepSeek 用 MoE 架构把顶级编程能力的推理成本打了下来,这会倒逼主流商业模型在代码 API 上进一步降价。唯一的顾虑依然是指令遵循的稳定性,如果你打算把它接入复杂的自动化 Agent 流程,最好在提示词和边界约束上多做一层校验。

来源 (2)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com
  2. [2]

每日 AI 内容精选