Kimi K3 靠蒸餾 Fable 做出來？專家拆解：兩週時間根本不夠

美國白宮科學顧問 Michael Kratsios 公開發難，指責月之暗面（Moonshot）靠蒸餾 Anthropic 的 Fable 模型，才做出了目前全球最大的開源權重模型 Kimi K3。

他還聲稱 Moonshot 在訓練中違規使用了被禁運的輝達 Grace Blackwell 300（GB300）晶片，甚至使用了泰國機房。這番言論迅速在 AI 圈引爆了關於封禁中國開源模型的討論，美國財政部長 Scott Bessent 也附和稱，在很多中國模型裡發現了美國模型的水印。

不過，多位頂尖 AI 研究員很快站了出來，給白宮的指控潑了一盆冷水：兩週時間想完成這一切，在技術上根本說不通。

兩週時間，蒸餾不出一個前沿模型

Snorkel AI 聯合創始人、Laude 研究所研究員 Braden Hancock 直截了當地算了一筆時間賬：Anthropic 的 Fable 7 月 1 日才公開發布，從抓取資料、蒸餾、重新訓練一個模型到最終釋出，只有區區兩週時間，這在工程上完全不可能。

艾倫人工智慧研究所（AI2）的研究員 Nathan Lambert 也在播客裡指出，隨著中國模型逼近前沿，蒸餾的邊際效應正在急劇遞減。單純靠監督微調（SFT）只能讓模型學到一點表面禮儀，甚至不小心吐出「我是 Claude」之類的套話，但根本換不來核心的推理能力。

要想真正複製 Fable 級別的能力，必須引入大規模強化學習（RL），讓大模型當裁判去給小模型的回答打分並持續迭代。

Lambert 指出，這種訓練需要調動數千萬個智慧體。如果全靠呼叫對手的 API 來做，成本高得不可思議，API 緩慢的響應速度也會成為嚴重瓶頸，最後甚至可能完全沒有效能提升。

雖然 Anthropic 年初確實公開指責過 Moonshot、DeepSeek 和 MiniMax 存在系統性蒸餾行為，但蒸餾在業內其實相當普遍。馬斯克今年也公開承認 SpaceXAI 蒸餾過 OpenAI 的模型來開發 Grok。在業內，蒸餾與合成數據的界限本來就很模糊。

2.8 萬億引數的底牌與晶片風波

把 Kimi K3 簡單歸結為「抄襲」的另一個破綻，在於模型本身的體量與架構。

從 Hugging Face 已經放出的模型資訊來看，Kimi K3 是一個總引數高達 2.8 萬億的混合專家（MoE）模型，啟用引數也有 1040 億。它採用了團隊自研的 Kimiko delta attention 和注意力殘差架構，還內建了 Moon VIC 視覺編碼器。

整個模型權重檔案高達 1.56 TB，普通裝置根本吃不消。雖然開源社群的 Unsloth 迅速推出了壓縮版，將其 1-bit GGUF 版本壓到了 594 GB，但依然需要堆疊多張企業級 GPU 才能跑起來。

正如 Hancock 所言，美國外界普遍低估了中國團隊的技術實力，Moonshot 的創始人本身就是卡內基梅隆大學（CMU）的博士。就算美國模型徹底停擺，中國的研發進度可能會放緩，但也絕不會停滯。

至於 Kratsios 提到的硬體問題，喬治城大學安全與新興技術中心（CSET）研究員 Sam Bresnick 表示，高階晶片黑市確實存在。今年 5 月美超微（Supermicro）創始人就因走私晶片被起訴。Bresnick 呼籲對全球資料中心推行「瞭解你的客戶」（KYC）審查，但拜登政府 2024 年提議的規則，在特朗普任內並未看到實質推進。

為什麼重要

在我們看來，白宮顧問的這番發難，反倒更像是面對前沿開源模型逼近時的應激反應。

Kimi K3 作為目前能拿到權重的最強開源模型，其 1.56 TB 的體量註定不是給個人電腦準備的玩具。普通開發者很難在本地跑起來，但 Hugging Face 上的開源權重和 Unsloth 的量化版本，給整個學術界和企業團隊提供了一個極具威力的底層基座。

把一個擁有 2.8 萬億引數、自研注意力架構和原生視覺能力的龐然大物，輕描淡寫成「兩週蒸餾偷出來的」，在技術邏輯上顯然站不住腳。SFT 只能模仿皮毛，真正的突破依賴強化學習和底層系統工程。

我們認為，政界關於封禁開源模型的討論，很難阻擋開源權重的實際擴散。當技術代差被迅速拉平、硬體封鎖出現漏洞時，類似的指責只會越來越多。但大模型的長跑，終究要靠架構創新和工程實力說話，光靠打嘴仗扣帽子，可留不住技術領先的護城河。