跳到正文
IFAI

開源專案

DeepSeek 開源 Coder V2:程式設計能力超越 GPT-4 Turbo

首次發布 傳播指數 59

DeepSeek 開源混合專家程式碼模型 DeepSeek Coder V2,支援 338 種程式語言與 128K 上下文。它在 HumanEval 等程式碼評測中超越了 GPT-4 Turbo 和 Claude 3 Opus,成為首個在程式設計基準上擊敗頂尖閉源方案的開源模型。提供 16B 和 236B 兩種尺寸,遵循 MIT 協議。

DeepSeek 開源 Coder V2:程式設計能力超越 GPT-4 Turbo
圖:venturebeat.com

DeepSeek Coder V2 是一個完全開源的程式碼大模型。它最大的賣點,就是在程式碼生成和數學解題上,跑分直接幹翻了 GPT-4 Turbo 和 Claude 3 Opus,也是目前首個在核心程式設計基準上超越頂尖閉源模型的開源專案。

這次更新最直接的變化是容量和視野。上一代模型只支援 86 種程式語言和 16K 上下文,而 V2 一下子擴充到了 338 種程式語言,上下文視窗直接拉到 128K,處理大型程式碼倉庫或跨檔案重構輕鬆了很多。

它是怎麼做到的

模型底座來自上個月釋出的 DeepSeek-V2,採用混合專家架構(MoE)。團隊在原有基礎上又追加預訓練了 6 萬億 token,讓整體訓練量達到了 10.2 萬億 token。

這批新資料裡,60% 是來自 GitHub 和 CommonCrawl 的原始碼,10% 是數學資料,剩下 30% 是自然語言。底座吃透了海量高質量程式碼,邏輯能力自然水漲船高。

架構設計也很聰明。它提供了 16B 和 236B 兩個版本,雖然引數總量看著不小,但每次推理分別只啟用 2.4B 和 21B 引數。這意味著你在本地或者私有云部署時,硬體推理成本比傳統稠密模型低得多。

實測戰績與短板

在評估程式碼生成與修 bug 能力的基準測試中,236B 版本的 DeepSeek Coder V2 在 MBPP+ 拿到 76.2 分,HumanEval 達到 90.2 分,Aider 達到 73.7 分。

這些成績不僅把 Llama 3-70B 和 Codestral 甩在身後,也全面超越了 GPT-4 Turbo、Claude 3 Opus 和 Gemini 1.5 Pro。放眼整個行業,只有 GPT-4o 靠著微弱優勢勉強保住了第一的位置。

在數學相關的 GSM8K 和 MATH 測試中,它同樣咬住了頂尖閉源梯隊。而在偏綜合理解的 MMLU 測試上,它拿到了 79.2 分,雖然比不上通用怪獸 GPT-4o 的 88.7 分,但對一個程式碼特化模型來說,日常自然語言互動完全夠用。

不過官方也坦承了一個短板:模型目前的指令遵循能力還有打磨空間。在面對非常複雜、長鏈條的真實工程指令時,偶爾還是會漏掉開發者的細微要求。

怎麼跑起來

DeepSeek 這次極為大方,直接採用 MIT 協議開源,允許無限制的商業使用和學術研究。

兩套尺寸的 Base 和 Instruct 版本都已經上傳到 Hugging Face,開發者可以直接拉取權重自行微調或本地執行。

如果你的視訊記憶體不夠跑大模型,或者單純想先體驗效果,官方也在自研平臺上提供了按量計費的 API,並且上線了免配置的網頁 Chatbot 供大家免費上手試用。

為什麼重要

對於任何在乎程式碼隱私、必須把模型跑在內網的公司,以及算力有限的獨立開發者來說,DeepSeek Coder V2 是目前最值得立刻換上的主力程式碼模型。過去閉源模型在程式碼理解上的絕對壁壘,第一次被開源方案徹底打破了。

我們認為,DeepSeek 用 MoE 架構把頂級程式設計能力的推理成本打了下來,這會倒逼主流商業模型在程式碼 API 上進一步降價。唯一的顧慮依然是指令遵循的穩定性,如果你打算把它接入複雜的自動化 Agent 流程,最好在提示詞和邊界約束上多做一層校驗。

來源 (2)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com
  2. [2]

每日 AI 內容精選