Kimi 開源 K3：2.8T 引數 MoE 巨模，自帶視覺與百萬上下文

Kimi K3 是 Moonshot AI 剛剛在 Hugging Face 上完全開放權重的超大混合專家模型（MoE）。它總共擁有 2.8 萬億引數，原生自帶視覺理解能力，並直接拉滿了 100 萬 token 的超長上下文視窗。

如果你需要處理整本長篇書籍、極長的音影片多模態記錄，或者需要模型在超長記憶下保持邏輯線上，K3 目前就是開源社群裡規模和引數量最頂格的選擇。

它能做什麼

K3 最大的特點，是在保留超大引數容量的同時控制了單次推理的計算負擔。雖然總引數高達 2.8 萬億，但得益於 MoE 架構，每次推理時實際啟用的引數只有 1040 億。

除了文本能力，它通過內建的 Moon VIC 視覺編碼器把影像理解做成了原生能力，不需要外掛第三方視覺模組。官方技術報告提到，新架構在單位算力下的智慧產出達到了以往架構的 2.5 倍，不僅是單純堆砌引數。

圍繞這個模型，團隊還一併開源了整套底層技術棧。包括自研的高效能注意力運算元、MoE 跨卡通訊庫，以及能支撐大規模智慧體叢集執行的底層環境基建。

怎麼跑起來

從架構上看，K3 採用了團隊自研的 Kimiko delta attention 與 attention residuals 機制，在長文本注意力計算和殘差連線上做了深度最佳化。

不過，這個級別的模型對硬體要求極高。完整的未壓縮模型權重在 Hugging Face 上足足佔了 1.56 TB 磁碟空間。想要直接跑起完整浮點精度，必須堆疊多張企業級頂級 GPU 才能吃下視訊記憶體。

好在開源社群已經跟進得很快。Unsloth 等社群團隊已經推出了針對 K3 的壓縮量化版，其中 1-bit GGUF 版本把體積壓縮到了 594 GB。雖然對單卡個人電腦依然不可企及，但已經大幅降低了多卡工作站和私有云叢集的部署門檻。

完整的權重檔案可以直接在 Hugging Face 搜尋 moonshotai/Kimi-K3 下載，技術報告和架構論文也已經同步放到了 GitHub 上。

為什麼重要

對企業和算力充裕的團隊來說，K3 的價值在於把原本只能通過閉源 API 呼叫的前沿長文本能力徹底搬到了本地。如果你對資料私密性要求極高，或者想針對自己的複雜業務搭建專屬的長上下文多模態智慧體，現在有了開源的頂配底座。

但普通開發者和個人使用者目前很難在本地體驗它。即使經過極限壓縮，將近 600 GB 的模型體積依然需要企業級硬體支撐。我們認為，K3 更適合作為開源基礎設施層，推動社群在 MoE 排程、量化壓縮與長文本工程上做進一步解構和二次提煉。