Edge0：把 SSD 當記憶體用，35B 大模型只佔 2.5GB 記憶體

Edge0 是一個開源的流式 MoE（混合專家模型）推理框架。它的核心目標很明確：打破裝置記憶體牆，把高速固態硬碟當作記憶體來使，讓你在消費級裝置上只花約 2.5GB 活躍記憶體，就能跑起 35B 引數規模的 MoE 大模型。

目前這個專案已經支援 Mac、iPhone、Android 和 Windows。它隨框架提供了兩個現成模型梯隊，分別是基於 Qwen3.6-35B-A3B 的 35B 版本，以及基於 Ling 3.0 bailing 架構的 8B 版本。

它是怎麼做到的

傳統的本地推理必須把整套模型權重一股腦載入記憶體。但 MoE 模型的特點在於「稀疏啟用」，比如 350 億總引數的模型，每次推理其實只調用其中約 30 億引數的專家。

Edge0 採用按需流式讀取。它把專家權重放在固態硬碟上用 mmap 對映，只有被點名幹活的專家才會被調入活躍記憶體。因此，峰值記憶體佔用只取決於當前激活了幾個專家，而不是總引數量。

硬碟讀取速度再快也有延遲，如果等算到那一步再去讀，推理就會嚴重卡頓。Edge0 的解法是加了一個經過訓練的 Prerouter 前置路由頭，提前一步預測下一個詞會呼叫哪些專家，讓權重載入和當前計算同時進行，解碼吞吐最多提升了 59%。

為了兼顧體積和效果，它的權重壓到了 INT4，35B 模型的磁碟佔用約為 23GB。為了救回量化損失，它掛載了通過蒸餾訓練的 Recover-LoRA。根據官方在 OpenCompass 上的基準測試，35B 版本的平均分只比原版 FP16 掉了 3.9 分，MMLU-Pro 測試甚至略高於基線。

硬體規格與速度

在配置為 24GB 記憶體的 M4 Pro Mac mini 上，edge0-35b 的解碼速度達到了每秒 14.9 到 17.7 個 token，推理時的 MLX 記憶體分配峰值僅為 2.9GB 左右。

如果是更小的 8B 模型，磁碟佔用只有 4.2GB，解碼速度能跑到每秒 23.9 到 25.3 個 token，記憶體峰值更是低至 1.0GB。

在平臺支援上，Edge0 在 GitHub 倉庫中同時放出了四套原生引擎：macOS 的 Rust 客戶端、iOS 的 Swift 引擎、Android 的 Kotlin 原生引擎，以及 Windows 平臺基於 C++ 和 Vulkan 的實現。統一的多端接入層預計在 2026 年第四季度推出。

需要注意的是，目前 Python 框架基於 MLX，僅支援配備 Apple Silicon 的 Mac 裝置，執行環境推薦 Python 3.12。

怎麼跑起來

程式碼已在 GitHub 開源，模型權重和訓練好的介面卡也已經打包上傳到了 Hugging Face 和 ModelScope。

在 Mac 上體驗非常簡單。克隆倉庫後配置好 Python 虛擬環境，安裝依賴包，接著執行指令碼下載對應的模型目錄。每個模型目錄下都會自帶基礎權重、LoRA 檔案和前置路由權重。

下載完成後，在終端執行 edge0 demo edge0-35b 即可直接體驗終端對話。如果想把它當作本地後端，執行 edge0 serve 就能啟動相容 OpenAI 規範的本地 API 介面。

為什麼重要

以往在個人電腦或手機上跑大模型，最大的攔路虎就是記憶體容量。蘋果的高統一記憶體機型售價不菲，普通手機更是隻有微薄的 RAM 可用。Edge0 這套方案證明了一件事：靠聰明的預判演算法，完全可以拿便宜的固態硬碟空間來頂替昂貴的執行記憶體。

對於想在本地低成本部署高智商模型的個人開發者和玩家來說，它非常值得立刻一試。不過也要明白它的邊界，頻繁從固態硬碟讀寫對儲存效能有要求，而且長文本下 KV 快取的增長依然會消耗記憶體。但不管怎麼說，它為端側大模型落地推開了一扇極其務實的新大門。