Kimi K3 靠蒸馏 Fable 做出来？专家拆解：两周时间根本不够

美国白宫科学顾问 Michael Kratsios 公开发难，指责月之暗面（Moonshot）靠蒸馏 Anthropic 的 Fable 模型，才做出了目前全球最大的开源权重模型 Kimi K3。

他还声称 Moonshot 在训练中违规使用了被禁运的英伟达 Grace Blackwell 300（GB300）芯片，甚至使用了泰国机房。这番言论迅速在 AI 圈引爆了关于封禁中国开源模型的讨论，美国财政部长 Scott Bessent 也附和称，在很多中国模型里发现了美国模型的水印。

不过，多位顶尖 AI 研究员很快站了出来，给白宫的指控泼了一盆冷水：两周时间想完成这一切，在技术上根本说不通。

两周时间，蒸馏不出一个前沿模型

Snorkel AI 联合创始人、Laude 研究所研究员 Braden Hancock 直截了当地算了一笔时间账：Anthropic 的 Fable 7 月 1 日才公开发布，从抓取数据、蒸馏、重新训练一个模型到最终发布，只有区区两周时间，这在工程上完全不可能。

艾伦人工智能研究所（AI2）的研究员 Nathan Lambert 也在播客里指出，随着中国模型逼近前沿，蒸馏的边际效应正在急剧递减。单纯靠监督微调（SFT）只能让模型学到一点表面礼仪，甚至不小心吐出「我是 Claude」之类的套话，但根本换不来核心的推理能力。

要想真正复制 Fable 级别的能力，必须引入大规模强化学习（RL），让大模型当裁判去给小模型的回答打分并持续迭代。

Lambert 指出，这种训练需要调动数千万个智能体。如果全靠调用对手的 API 来做，成本高得不可思议，API 缓慢的响应速度也会成为严重瓶颈，最后甚至可能完全没有性能提升。

虽然 Anthropic 年初确实公开指责过 Moonshot、DeepSeek 和 MiniMax 存在系统性蒸馏行为，但蒸馏在业内其实相当普遍。马斯克今年也公开承认 SpaceXAI 蒸馏过 OpenAI 的模型来开发 Grok。在业内，蒸馏与合成数据的界限本来就很模糊。

2.8 万亿参数的底牌与芯片风波

把 Kimi K3 简单归结为「抄袭」的另一个破绽，在于模型本身的体量与架构。

从 Hugging Face 已经放出的模型信息来看，Kimi K3 是一个总参数高达 2.8 万亿的混合专家（MoE）模型，激活参数也有 1040 亿。它采用了团队自研的 Kimiko delta attention 和注意力残差架构，还内置了 Moon VIC 视觉编码器。

整个模型权重文件高达 1.56 TB，普通设备根本吃不消。虽然开源社区的 Unsloth 迅速推出了压缩版，将其 1-bit GGUF 版本压到了 594 GB，但依然需要堆叠多张企业级 GPU 才能跑起来。

正如 Hancock 所言，美国外界普遍低估了中国团队的技术实力，Moonshot 的创始人本身就是卡内基梅隆大学（CMU）的博士。就算美国模型彻底停摆，中国的研发进度可能会放缓，但也绝不会停滞。

至于 Kratsios 提到的硬件问题，乔治城大学安全与新兴技术中心（CSET）研究员 Sam Bresnick 表示，高端芯片黑市确实存在。今年 5 月美超微（Supermicro）创始人就因走私芯片被起诉。Bresnick 呼吁对全球数据中心推行「了解你的客户」（KYC）审查，但拜登政府 2024 年提议的规则，在特朗普任内并未看到实质推进。

为什么重要

在我们看来，白宫顾问的这番发难，反倒更像是面对前沿开源模型逼近时的应激反应。

Kimi K3 作为目前能拿到权重的最强开源模型，其 1.56 TB 的体量注定不是给个人电脑准备的玩具。普通开发者很难在本地跑起来，但 Hugging Face 上的开源权重和 Unsloth 的量化版本，给整个学术界和企业团队提供了一个极具威力的底层基座。

把一个拥有 2.8 万亿参数、自研注意力架构和原生视觉能力的庞然大物，轻描淡写成「两周蒸馏偷出来的」，在技术逻辑上显然站不住脚。SFT 只能模仿皮毛，真正的突破依赖强化学习和底层系统工程。

我们认为，政界关于封禁开源模型的讨论，很难阻挡开源权重的实际扩散。当技术代差被迅速拉平、硬件封锁出现漏洞时，类似的指责只会越来越多。但大模型的长跑，终究要靠架构创新和工程实力说话，光靠打嘴仗扣帽子，可留不住技术领先的护城河。