Kimi 开源 K3：2.8T 参数 MoE 巨模，自带视觉与百万上下文

Kimi K3 是 Moonshot AI 刚刚在 Hugging Face 上完全开放权重的超大混合专家模型（MoE）。它总共拥有 2.8 万亿参数，原生自带视觉理解能力，并直接拉满了 100 万 token 的超长上下文窗口。

如果你需要处理整本长篇书籍、极长的音视频多模态记录，或者需要模型在超长记忆下保持逻辑在线，K3 目前就是开源社区里规模和参数量最顶格的选择。

它能做什么

K3 最大的特点，是在保留超大参数容量的同时控制了单次推理的计算负担。虽然总参数高达 2.8 万亿，但得益于 MoE 架构，每次推理时实际激活的参数只有 1040 亿。

除了文本能力，它通过内置的 Moon VIC 视觉编码器把图像理解做成了原生能力，不需要外挂第三方视觉模块。官方技术报告提到，新架构在单位算力下的智能产出达到了以往架构的 2.5 倍，不仅是单纯堆砌参数。

围绕这个模型，团队还一并开源了整套底层技术栈。包括自研的高性能注意力算子、MoE 跨卡通信库，以及能支撑大规模智能体集群运行的底层环境基建。

怎么跑起来

从架构上看，K3 采用了团队自研的 Kimiko delta attention 与 attention residuals 机制，在长文本注意力计算和残差连接上做了深度优化。

不过，这个级别的模型对硬件要求极高。完整的未压缩模型权重在 Hugging Face 上足足占了 1.56 TB 磁盘空间。想要直接跑起完整浮点精度，必须堆叠多张企业级顶级 GPU 才能吃下显存。

好在开源社区已经跟进得很快。Unsloth 等社区团队已经推出了针对 K3 的压缩量化版，其中 1-bit GGUF 版本把体积压缩到了 594 GB。虽然对单卡个人电脑依然不可企及，但已经大幅降低了多卡工作站和私有云集群的部署门槛。

完整的权重文件可以直接在 Hugging Face 搜索 moonshotai/Kimi-K3 下载，技术报告和架构论文也已经同步放到了 GitHub 上。

为什么重要

对企业和算力充裕的团队来说，K3 的价值在于把原本只能通过闭源 API 调用的前沿长文本能力彻底搬到了本地。如果你对数据私密性要求极高，或者想针对自己的复杂业务搭建专属的长上下文多模态智能体，现在有了开源的顶配底座。

但普通开发者和个人用户目前很难在本地体验它。即使经过极限压缩，将近 600 GB 的模型体积依然需要企业级硬件支撑。我们认为，K3 更适合作为开源基础设施层，推动社区在 MoE 调度、量化压缩与长文本工程上做进一步解构和二次提炼。