Cactus 推出 Needle 2:僅 45M 引數,28 MB 記憶體即可離線跑
Cactus 推出超輕量模型 Needle 2,僅有 4500 萬引數,打包後只有 14 MB,執行僅需約 28 MB 記憶體且完全不需要 GPU。它專為樹莓派和廉價手機等微型裝置設計,在樹莓派 5 上每秒可達 500 token,適合離線工具呼叫與裝置控制。
Cactus 推出超輕量模型 Needle 2,僅有 4500 萬引數,打包後只有 14 MB,執行僅需約 28 MB 記憶體且完全不需要 GPU。它專為樹莓派和廉價手機等微型裝置設計,在樹莓派 5 上每秒可達 500 token,適合離線工具呼叫與裝置控制。