跳到正文
IFAI

大模型

月之暗面发布 Kimi K3:首个 2.8T 开源模型,支持百万上下文与原生视觉

首次发布 传播指数 64

月之暗面发布开源模型 Kimi K3,参数量达 2.8 万亿,是全球首个 3T 级开源模型。它采用 LatentMoE 架构激活 16 个专家,具备原生视觉与 100 万 token 上下文,主打长时间跨度的编程与智能体任务。完整权重将于 2026 年 7 月 27 日开源。

月之暗面发布 Kimi K3:首个 2.8T 开源模型,支持百万上下文与原生视觉
图:techcrunch.com

Kimi K3 是月之暗面推出的 2.8 万亿参数开源模型,也是目前首个达到 3T 级别的开源大模型。它支持 100 万 token 上下文,具备原生图文理解能力,主要用来解决长时间跨度的复杂编程、多步骤知识工作和自主智能体任务。

它能做什么

在实际任务中,Kimi K3 主打无需过多人类干预的端到端自主执行能力。它能在海量代码仓库中持续工作,自主操作终端工具,还能结合前端截图或视觉素材直接调试游戏开发、网页设计与 CAD 图纸。

它的核心能力集中在极高难度的系统工程上。在官方测试中,K3 能在 24 小时沙盒内独立优化 GPU 底层内核,在这项测试中跑赢了 GPT 5.6 Sol、GPT 5.5 和 Opus 4.8,表现与 Claude Fable 5 相当。月之暗面团队透露,后期大部分内核优化工作已经交由 K3 早期版本自行完成。

它甚至能在没有任何脚手架的情况下从零构建一个 GPU 编译器 MiniTriton。该编译器拥有自己的中间表示层和 PTX 代码生成管线,端到端跑通了 nanoGPT 的模型训练,收敛曲线紧贴参考基准。在另一项概念验证中,K3 在 48 小时内自主设计并验证了一颗 45nm 的专用推理芯片,仿真环境下的解码吞吐超过每秒 8700 token。

除了写代码,它在长周期知识研究上也表现突出。它能自主检索数千篇研报与论文,交叉比对数十万字公式并输出交互式图表网页,在第三方智商测试榜单 AA's Intelligence Index 上拿到 57 分,仅次于闭源顶尖模型 Fable 5 的 60 分和 Sol 的 59 分。

怎么做到的与硬件门槛

K3 的架构采用了两项核心改动:Kimi Delta Attention(KDA)和 Attention Residuals(AttnRes),分别用来提升长序列处理与跨网络深度的信息流动。模型基于 Stable LatentMoE 框架构建,拥有 896 个专家,每次计算动态激活其中的 16 个。结合 Quantile Balancing 和 Per-Head Muon 优化,整体缩放效率比上一代 K2 提升了约 2.5 倍。

不过,这个级别的庞然大物对部署硬件有着极高要求。K3 从精调阶段就采用了量化感知训练,使用 MXFP4 权重与 MXFP8 激活以兼顾计算精度与通用硬件兼容。由于专家并行需要庞大的通信带宽,官方建议在拥有 64 个以上加速器的超节点(Supernode)集群上部署。

在开放进度方面,Kimi 官方确认完整模型权重将在 2026 年 7 月 27 日正式开放下载,相关技术报告和 vLLM 适配的前缀缓存代码也会同步释出。

如果读者现在想尝试,无需等待自建集群。K3 已经接入 kimi.com、Kimi Work 桌面端 3.1.0 版本、终端工具 Kimi Code 以及官方 API。目前 API 默认以最大思考模式运行,输入命中缓存每百万 token 收费 0.30 美元,未命中为 3 美元,输出为 15 美元,价格与 Claude 5 Sonnet 看齐。

为什么重要

Kimi K3 的意义在于它把开源模型的技术水位直接拉到了闭源第一梯队的眼皮底下。过去行业普遍认为开源落后顶尖专有模型至少半年到一年,但 K3 在编程、编译器构建和复杂推理上已经能与顶级专有模型打得有来有回,甚至在部分复杂工程项上反超。

对于独立开发者和中小团队来说,本地部署 2.8T 模型的硬件门槛依然高不可攀,现在最划算的用法仍然是调用官方 API 或桌面端。但对于有算力储备的企业和科研机构而言,7 月 27 日权重的释出意味着他们第一次能够完全掌控一个接近顶尖私有模型能力的底座,不用再受制于商业闭源 API 的数据隐私条款与封锁风险。

来源 (2)

  1. [1]
    kimi.com(在新标签页打开)原文kimi.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选