Together AI 开源 DeepCoder-14B：14B 参数追平 o3-mini

DeepCoder-14B-Preview 是 Together AI 和 Agentica 联手推出的开源代码推理模型。它能用 14B 参数的小体量，在编写代码和解决算法题上跑出媲美 OpenAI o3-mini 的表现。

该模型基于 Deepseek-R1-Distilled-Qwen-14B，通过分布式强化学习（RL）微调而来。在基准评测 LiveCodeBench 上，它的 Pass@1 准确率达到 60.6%，比基础模型提升了 8 个百分点，直接追平了 o3-mini 和 o1 的水准。

它是怎么训出来的

强化学习在数学推理上进展很快，但在代码领域一直受阻，核心瓶颈就是缺少高质量、可验证的测试数据。很多公开代码数据集要么题目太简单，要么单元测试残缺，模型很容易钻空子硬背答案。

团队通过严格清洗，筛出了 2.4 万道高难度且可验证的题目。其中 7500 道来自 TACO Verified，1.6 万道来自 PrimeIntellect 的 SYNTHETIC-1，还有 600 道来自 LiveCodeBench。

筛选标准非常苛刻：题目必须能被官方标准解法跑通，且每道题至少包含 5 个测试用例，从源头杜绝作弊。团队还对训练集和测试集做了彻底去重，确保评估完全客观。

训练硬件使用了 32 张 H100 显卡，耗时 2.5 周。为了解决海量单元测试拖慢训练的问题，团队开发并开源了 verl-pipe 框架，把端到端训练速度拉高了 2 倍。测试过程则由并发沙箱承载，包括每次调用 3 美分的 Together 在线解释器，以及本地 Python 沙箱。

开放程度与使用门槛

这次开源非常彻底。除了 DeepCoder-14B-Preview 的模型权重，团队连带 2.4 万道题的训练数据集、完整训练代码、训练日志以及系统优化方案全部公开。

相关资产已经托管在 GitHub 仓库中。想要复现或自行微调的开发者，可以直接拉取代码，结合 verl-pipe 和沙箱环境在本地或集群上跑起来。

为什么重要

对从事模型后训练的研究者和开发者来说，DeepCoder-14B 提供了一套极具价值的轻量化代码落地范式。它打破了顶级代码推理必须依赖数百亿甚至千亿大模型的认知，证明了 14B 模型通过严密后训练同样能打竞赛级编程题。

我们认为，这套方案最聪明的地方在于抓住了数据验证和沙箱效率这两个死穴。如果你正打算在私有服务器上部署高性价比的代码推理助手，或者想探索代码强化学习，这个开源项目非常值得作为当前的首选基座。