Cactus 推出 Needle 2：僅 45M 引數，28 MB 記憶體即可離線跑

Cactus Needle 2 是一個專門給超輕量裝置準備的微型 AI 模型，引數量只有 4500 萬。它最大的特點就是極端節省資源，不用顯示卡，在離線狀態下靠極小的記憶體就能幫你完成工具呼叫和裝置控制。

現在的開源大模型就算再精簡，引數量通常也得有幾十億，跑起來動輒吃掉幾個 G 的視訊記憶體。如果你的裝置根本沒有獨立顯示卡，甚至只是一塊樹莓派或者廉價手機， Needle 2 就是衝著這個痛點來的。

它能做什麼

Needle 2 專攻單點任務，比如控制智慧硬體、呼叫本地函式，或者從短文本里提取特定欄位。它遵循 OpenAI 風格的工具呼叫格式，能在本地穩穩接住指令並輸出對應的結構化呼叫。

但這不意味著它能像大模型那樣思考。它的短板也非常明顯，如果你試圖讓它處理長週期的複雜推理任務，或者指望它扮演全能 Agent，它肯定做不來。

換句話說，它更像是一個裝在裝置終端的超輕量神經反射中樞，專門負責把你說的話快速翻譯成機器動作。

極致的規格與驚人的速度

這顆模型最誇張的是它的體積與硬體門檻。整個模型打包完成後只有一個 14 MB 大小的二進位制檔案，執行時僅佔用約 28 MB 的系統記憶體。

這意味著你完全不需要 GPU 視訊記憶體，連十年前的老裝置或者幾十塊錢的單板機都能輕鬆裝下。同時，因為模型極小，它的解碼速度快得驚人。

在 Raspberry Pi 5 上，Needle 2 的解碼速度可以達到每秒 500 token。在售價不到 200 美元的入門級廉價安卓機上，速度甚至能跑出每秒 700 token。如果放在 VR 裝置上，它的速度還能飆升到每秒 1500 token。

支撐它的是背後的開源推理引擎 Cactus。這套引擎用 C 和 C++ 重寫了計算圖與底層核心，專門針對 ARM NEON SIMD 做了最佳化，並採用了獨創的旋轉量化技術。當本地模型對某次回答的置信度不足時，引擎還支援自動回退呼叫雲端大模型來兜底。

怎麼跑起來

想要上手非常簡單，整個專案已經完全開源。如果你使用的是 Mac，直接通過 Homebrew 執行 brew install cactus-compute/cactus/cactus 即可完成安裝。

在 Linux 裝置上，只要把官方倉庫 git clone 到本地並執行 setup 指令碼，接著輸入 cactus run Cactus-Compute/needle 就能立即跑起本地的工具呼叫演示。

引擎本身還內建了相容 OpenAI 格式的 HTTP 介面，一行命令 cactus serve 就能把它變成一個執行在區域網內部的微型推理端點。

為什麼重要

如果你正在開發智慧家居、可穿戴裝置或者嵌入式機器人，Needle 2 值得你立刻去測一測。過去在幾十兆記憶體的硬體上，開發者幾乎只能寫死邏輯或依賴雲端介面，現在終於可以把真正的離線自然語言工具呼叫塞進幾百塊錢的硬體裡，不僅零 API 成本，響應還在毫秒級。

我們認為 Cactus 這步棋下得非常務實。它沒有去卷大模型的通用智慧排行榜，而是用工業級的工程壓縮，把工具呼叫的門檻打穿到了微型硬體的死角。雖然複雜的任務它依然無能為力，但作為端側裝置的本地指令路由器，這種極致輕量化的方向看起來極具生命力。