跳到正文
IFAI

开源项目

Kimi K3.1 Pro:2.8 万亿参数多模态模型开源,完整权重上架

首次发布 传播指数 51

月之暗面在 Hugging Face 上线 Kimi K3.1 Pro 完整权重。该多模态模型总参数达 2.8 万亿,推理激活 1040 亿参数,支持 100 万 token 上下文。1.56TB 的体积虽然考验算力,但已全面适配 vLLM 与 SGLang 部署。

Kimi K3.1 Pro:2.8 万亿参数多模态模型开源,完整权重上架
图:huggingface.co

见过开源大模型的,但很少见到一出手就是 1.56TB 的庞然大物。

月之暗面最近兑现了承诺,在 Hugging Face 上正式放出了 Kimi K3.1 Pro 的完整模型权重。这是 K3.1 系列的第一款模型,也是目前全球开源领域参数体量最庞大的原生多模态模型之一。

训练这种规模的模型,耗费的资金往往以百万美元计。月之暗面愿意把完整权重公开,不仅引来了开发者社区的围观,也让不少算力企业开始摩拳擦掌。

2.8 万亿总参数,但每次只唤醒一小部分

Kimi K3.1 Pro 是个月之暗面自研的混合专家架构模型,总参数量达到了夸张的 2.8 万亿。

不过,它在每次推理计算时,只激活其中的 1040 亿参数。这种设计保证了模型在具备深厚知识底座的同时,单次推理开销不至于彻底失控。

它的上下文窗口扩展到了 100 万 token。为了在超长文本下兼顾效率,团队在 93 层网络中,用 24 层门控稀疏注意力替代了原先的全注意力层。

同时,它原生具备多模态能力,搭载了 401M 参数的 MoonViT-V2 视觉编码器,并在量化感知训练中使用了 MXFP4 权重与 MXFP8 激活。

在基准测试中,它在 Terminal-Bench、SWE Marathon 以及复杂的金融与办公长文本任务上,成绩已经咬住了 GPT-6 Astra 和 Claude Opus 5.5 这类顶级闭源模型。

普通显卡先别想了,这是集群的盛宴

东西确实是好东西,但下载和部署的门槛摆在那里。

整套模型权重高达 1.56TB。官方不仅给出了标准的 Transformers 调用方式,还上线了 vLLM 和 SGLang 的原生部署支持,并提供了 Docker 镜像。

换句话说,普通人的个人电脑或单张消费级显卡连解压都困难,更别提载入显存了。想要把它跑起来,必须依赖多张专业计算卡组成的集群。

对于绝大多数普通开发者来说,现阶段在 HuggingChat 或云端 API 里体验是更现实的选择。

为什么重要

对用户与开发者而言,这意味着顶级模型底座的控制权重新回到了自己手里。以前需要花大价钱调用闭源商业 API 的智能体编程、长程文档分析与复杂工具调用,现在有财力的企业完全可以在私有集群里离线部署,无需担心数据泄露。

对整个行业来说,月之暗面把开源模型的门槛直接拉高到了接近 3 万亿参数的级别。它证明了开源阵营不仅能在轻量模型上打性价比战,在最顶尖的超大规模 MoE 上同样能正面对抗闭源巨头。

我们认为,月之暗面这步棋走得相当通透。一方面把训练成本极高的资产公开,赢得了全球开源社区的声誉与生态绑定;另一方面,1.56TB 的硬件门槛自然筛选出了真正的企业级客户,为后续的企业云服务和算力合作铺平了道路。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选