Together AI 開源 DeepCoder-14B：14B 引數追平 o3-mini

DeepCoder-14B-Preview 是 Together AI 和 Agentica 聯手推出的開原始碼推理模型。它能用 14B 引數的小體量，在編寫程式碼和解決演算法題上跑出媲美 OpenAI o3-mini 的表現。

該模型基於 Deepseek-R1-Distilled-Qwen-14B，通過分散式強化學習（RL）微調而來。在基準評測 LiveCodeBench 上，它的 Pass@1 準確率達到 60.6%，比基礎模型提升了 8 個百分點，直接追平了 o3-mini 和 o1 的水準。

它是怎麼訓出來的

強化學習在數學推理上進展很快，但在程式碼領域一直受阻，核心瓶頸就是缺少高質量、可驗證的測試資料。很多公開程式碼資料集要麼題目太簡單，要麼單元測試殘缺，模型很容易鑽空子硬背答案。

團隊通過嚴格清洗，篩出了 2.4 萬道高難度且可驗證的題目。其中 7500 道來自 TACO Verified，1.6 萬道來自 PrimeIntellect 的 SYNTHETIC-1，還有 600 道來自 LiveCodeBench。

篩選標準非常苛刻：題目必須能被官方標準解法跑通，且每道題至少包含 5 個測試用例，從源頭杜絕作弊。團隊還對訓練集和測試集做了徹底去重，確保評估完全客觀。

訓練硬體使用了 32 張 H100 顯示卡，耗時 2.5 周。為了解決海量單元測試拖慢訓練的問題，團隊開發並開源了 verl-pipe 框架，把端到端訓練速度拉高了 2 倍。測試過程則由併發沙箱承載，包括每次呼叫 3 美分的 Together 線上直譯器，以及本地 Python 沙箱。

開放程度與使用門檻

這次開源非常徹底。除了 DeepCoder-14B-Preview 的模型權重，團隊連帶 2.4 萬道題的訓練資料集、完整訓練程式碼、訓練日誌以及系統最佳化方案全部公開。

相關資產已經託管在 GitHub 倉庫中。想要復現或自行微調的開發者，可以直接拉取程式碼，結合 verl-pipe 和沙箱環境在本地或叢集上跑起來。

為什麼重要

對從事模型後訓練的研究者和開發者來說，DeepCoder-14B 提供了一套極具價值的輕量化程式碼落地範式。它打破了頂級程式碼推理必須依賴數百億甚至千億大模型的認知，證明了 14B 模型通過嚴密後訓練同樣能打競賽級程式設計題。

我們認為，這套方案最聰明的地方在於抓住了資料驗證和沙箱效率這兩個死穴。如果你正打算在私有伺服器上部署高性價比的程式碼推理助手，或者想探索程式碼強化學習，這個開源專案非常值得作為當前的首選基座。