跳到正文
IFAI

大模型

Cognition 发布编程模型 SWE-1.7:基于 Kimi K2.7,性能逼近 GPT-5.5

首次发布 传播指数 50

Cognition 发布专为 Devin 打造的编程模型 SWE-1.7。该模型基于开源的 Kimi K2.7,通过强化学习将性能拉至逼近 GPT-5.5 与 Opus 4.8,且成本大幅降低。目前已在 Devin 全平台上线,借助 Cerebras 芯片实现每秒 1000 token 的极速推理。

Cognition 发布编程模型 SWE-1.7:基于 Kimi K2.7,性能逼近 GPT-5.5
图:cognition.com

以前大家做 AI 编程 Agent,思路大多是直接调用顶尖闭源模型,账单拉得老长,推理速度还慢半拍。

打造 Devin 的 Cognition 换了一条路,发布自研编程大模型 SWE-1.7。他们直接拿中国开源的 Kimi K2.7 当基座,靠一整套强化学习流水线硬生生把性能推了上去,成本却压低到原来的几分之一。模型目前已经在 Devin 的 Web、桌面端和 CLI 上线,接入了 Cerebras 芯片推理,跑起来每秒能吐 1000 个 token。

在基准测试里,SWE-1.7 的 FrontierCode 1.1 得分从基座的 30.1% 冲到了 42.3%,逼近 GPT-5.5 的 43.0%;Terminal-Bench 2.1 跑到 81.5%,SWE-Bench Multilingual 拿到 77.8%,性能把前代 SWE-1.6 甩开几条街,直接跟顶流模型平起平坐。

拿开源模型打底,还能挤出多少水分

业内之前有个普遍看法,觉得开源模型如果本身已经经过大量强化学习后训练,后面再想靠强化学习挖出大潜能,很容易触碰所谓的「后训练天花板」。

Cognition 这次偏要打破这个看法。SWE-1.7 能跑出来,关键在于他们治好了长程强化学习的两块心病:熵崩塌和训练推断漂移。

在做异步强化学习时,他们发现采样极端低概率的 token 会让模型过度自信,训练跑几百步奖励就涨不动了。为此团队引入了采样分布回放机制,把 top-p 采样跟训练端做对齐,不仅稳住了熵值,还剔除了大量低信号梯度的噪音。此外,他们还换上了 Muon 优化器,彻底干掉了训练器里的非确定性操作。

没万卡集群,就去三大洲「拼算力」

对于像 Cognition 这样需要训练万亿参数模型的创业团队来说,搞一个拥有几万张卡的高速单集群既贵又难。他们盯上了强化学习本身的天然特性:只有主训练器需要高带宽,负责生成轨迹的推理节点完全可以扔在外面。

于是他们把训练节点分散在三大洲的四个数据中心里,把自己的 GPU 集群和 Fireworks 等供应商的云算力拧成一股绳。为了解决跨大洲同步权重的延迟,他们设计了压缩权重差量传输,每次更新体积砍掉超过 99%。

配合云端对象存储和节点预加载,跨洲同步万亿参数模型的权重只花一两分钟,推理服务仅需暂停 3 到 4 秒就能无缝切换。哪怕部分推理节点挂掉,有 NVIDIA Dynamo 顶着重新调度,也不会把整场训练拖垮。

针对写代码最怕的超长上下文,SWE-1.7 还学会了自压缩。它能在推理过程中自动总结当前的工作状态,直接从摘要继续往下写,配合交替的长度惩罚,逼着模型少说废话、精准写码。

为什么重要

对日常使用 Devin 的开发者来说,这波升级带来的是实打实的提速与降本。以前跑一个复杂的长程跨文件任务,不仅要等半天,还要担心上下文打架爆掉,现在靠 Cerebras 的千 token 每秒输出和自压缩机制,做复杂任务的体验会流畅许多,值得现在就去网页或终端里跑跑看。

对行业而言,这一步走得相当精明。它证明了不需要从零预训练烧掉几亿美元,借力成熟的开源高分底模(比如 Kimi K2.7),再针对软件工程场景下狠功夫做垂直 RL,完全可以在特定场景下跟千亿巨头的闭源旗舰掰手腕。

不过隐患也并非没有。这种跨大洲拼装分布式算力和重度依赖开源底模的路线,对基座模型的演进方向有着很强的绑定;后续基座一换,整套针对性微调的数据流水线和差量同步工程是否还能保持同样的收益,依然需要打个问号。

来源 (1)

  1. [1]
    cognition.com(在新标签页打开)原文cognition.com

每日 AI 内容精选