Cactus 釋出 Needle 3：僅 8 至 29 MB 的端側模型，微控制器也能調工具

現在大家聊起本地大模型，動不動就得搬出幾十 GB 視訊記憶體的顯示卡，即便稍微精簡一下的端側模型，體積也動輒兩三個 G。可如果你只是想讓智慧手錶記個賬，或者讓掃地機器人聽懂一句「打掃廚房但別進臥室」，裝置里根本不需要塞進一個滿腹經綸的哲學家。

Cactus 正式釋出了專為超小型裝置打造的基礎模型 Needle 3。最讓人驚訝的是它的體積：整包二進位制檔案只有 8 至 29 MB，模型引數在 2900 萬到 1.21 億之間。它不基於傳統的 Transformer 架構，而是跑在 Cactus 自研的 Simple Attention Network 之上，能在毫秒級時間內搞定裝置的控制和解析。

砍掉閒聊，專做硬體的「神經中樞」

Needle 3 之所以能做到這麼小，是因為它做了一個極為徹底的取捨：直接放棄通用的日常閒聊能力，把所有算力全砸在工具呼叫、結構化資料提取和本地文本嵌入上。

換句話說，你別指望它陪你談人生，但給硬體下指令它是行家。官方資料顯示，Needle 3 在移動端工具呼叫測試中擊敗了體積大它 10 倍的模型，在資訊提取任務上也追平了體積大 2 到 3 倍的對手。當用戶提出需求時，它能準確挑出對應的功能並填好引數；如果當前沒有能處理的工具，它會直接返回空列表，而不是像很多大模型那樣開始憑空胡謅。

在資料提取上，只要開發者定義好資料格式，給它一段雜亂的文本，它就能吐出標準規範的 JSON 資料。即使在配置很低的微控制器、智慧手錶、AR 眼鏡或者車機座艙裡，它也能完全脫離網路，在本地把發票、預訂通知或者語音指令轉成機器能懂的結構化欄位。

一套權重，從微控制器靈活伸縮到手機

傳統的端側部署，往往得為手錶、手機、開發板分別訓練和裁剪不同的模型，而 Needle 3 搞了一套被稱為「智慧分層」（Intelligence laddering）的機制。

整個模型的每一層都是一個能力遞增的子網路。開發者可以根據手頭裝置的算力高低，自由選擇只啟用 2 層還是開滿 20 層。算力極度受限的微控制器只跑 2 層網路，功耗極低；換到效能更充裕的手機或者樹莓派上，就可以啟用更多層數以獲得更高的理解精度，而背後用的其實是同一套權重體系。

這套模型在包含 3600 億 token 的專有結構化資料集上訓練，經過 CQ2 量化後被壓到了極致。在樹莓派 5 上實測，它的預填充速度達到每秒 1000 到 10000 token，解碼速度也能達到每秒 400 到 4000 token。開發者用 pip 安裝 Python 包後即可直接載入預編譯引擎，官方還為 macOS、Windows、Linux、Android、iOS 和 WebAssembly 等幾乎所有常見平臺提供了不到 1 MB 的極小引擎執行時。

如果針對特定產品做下游微調，只需 1 個 epoch，微調後的 4 層子網路就能在特定任務上匹敵 DeepSeek V4 Flash，在 DroidCall 測試中的表現提升了 18 到 36 分。

為什麼重要

在所有人都在卷引數規模和多模態通用能力的當下，Needle 3 走了一條極其務實甚至有點反潮流的路線。我們認為這步棋下得非常聰明。

長期以來，智慧家居、可穿戴裝置和物聯網硬體面臨著兩難：要麼必須即時聯網呼叫雲端大模型，既有網路延遲，還要承擔持續的伺服器呼叫費，更伴隨著嚴重的隱私顧慮；要麼就只能使用死板的固定關鍵詞匹配，只要使用者換個句式，裝置立馬變「智障」。Needle 3 把工具呼叫的門檻打到了 8 MB，意味著幾十塊錢的微控制器也能擁有理解自然語言並對映到具體 API 的能力，而且完全離線執行。

對於硬體開發者和獨立開發者來說，這意味著極大的自由度。你不再需要為一個小鬧鐘或車載模組搭建複雜的雲端互動鏈路，直接用官方提供的輕量執行時就能把離線語義解析塞進裝置韌體裡。

當然，這種取捨也有明顯的邊界。Needle 3 毫無通用常識推理能力，遇到需要多步發散或複雜邏輯的任務就會徹底啞火，且對開發者的工具定義規範要求極高。如果提示詞和工具描述不夠精準，小模型的容錯空間會比百億模型狹窄得多。但這絲毫不妨礙它成為極具殺傷力的專用齒輪：它沒有把裝置變成高談闊論的學者，而是做成了反應極快、絕不掉線的智慧遙控器。