Edge0：把 SSD 當記憶體用，35B 大模型只佔 2.5GB 記憶體
Edge0 開源流式 MoE 推理框架，通過直接從 SSD 按需載入專家權重，讓 35B 稀疏模型僅需約 2.5GB 活躍記憶體即可在 iPhone、Mac 等裝置上執行。它藉助提前預測路由掩蓋讀取延遲，讓低記憶體裝置也能順暢跑大模型。
Edge0 開源流式 MoE 推理框架，通過直接從 SSD 按需載入專家權重，讓 35B 稀疏模型僅需約 2.5GB 活躍記憶體即可在 iPhone、Mac 等裝置上執行。它藉助提前預測路由掩蓋讀取延遲，讓低記憶體裝置也能順暢跑大模型。