Cactus 推出 Needle 2：仅 45M 参数，28 MB 内存即可离线跑

Cactus Needle 2 是一个专门给超轻量设备准备的微型 AI 模型，参数量只有 4500 万。它最大的特点就是极端节省资源，不用显卡，在离线状态下靠极小的内存就能帮你完成工具调用和设备控制。

现在的开源大模型就算再精简，参数量通常也得有几十亿，跑起来动辄吃掉几个 G 的显存。如果你的设备根本没有独立显卡，甚至只是一块树莓派或者廉价手机， Needle 2 就是冲着这个痛点来的。

它能做什么

Needle 2 专攻单点任务，比如控制智能硬件、调用本地函数，或者从短文本里提取特定字段。它遵循 OpenAI 风格的工具调用格式，能在本地稳稳接住指令并输出对应的结构化调用。

但这不意味着它能像大模型那样思考。它的短板也非常明显，如果你试图让它处理长周期的复杂推理任务，或者指望它扮演全能 Agent，它肯定做不来。

换句话说，它更像是一个装在设备终端的超轻量神经反射中枢，专门负责把你说的话快速翻译成机器动作。

极致的规格与惊人的速度

这颗模型最夸张的是它的体积与硬件门槛。整个模型打包完成后只有一个 14 MB 大小的二进制文件，运行时仅占用约 28 MB 的系统内存。

这意味着你完全不需要 GPU 显存，连十年前的老设备或者几十块钱的单板机都能轻松装下。同时，因为模型极小，它的解码速度快得惊人。

在 Raspberry Pi 5 上，Needle 2 的解码速度可以达到每秒 500 token。在售价不到 200 美元的入门级廉价安卓机上，速度甚至能跑出每秒 700 token。如果放在 VR 设备上，它的速度还能飙升到每秒 1500 token。

支撑它的是背后的开源推理引擎 Cactus。这套引擎用 C 和 C++ 重写了计算图与底层内核，专门针对 ARM NEON SIMD 做了优化，并采用了独创的旋转量化技术。当本地模型对某次回答的置信度不足时，引擎还支持自动回退调用云端大模型来兜底。

怎么跑起来

想要上手非常简单，整个项目已经完全开源。如果你使用的是 Mac，直接通过 Homebrew 执行 brew install cactus-compute/cactus/cactus 即可完成安装。

在 Linux 设备上，只要把官方仓库 git clone 到本地并运行 setup 脚本，接着输入 cactus run Cactus-Compute/needle 就能立即跑起本地的工具调用演示。

引擎本身还内置了兼容 OpenAI 格式的 HTTP 接口，一行命令 cactus serve 就能把它变成一个运行在局域网内部的微型推理端点。

为什么重要

如果你正在开发智能家居、可穿戴设备或者嵌入式机器人，Needle 2 值得你立刻去测一测。过去在几十兆内存的硬件上，开发者几乎只能写死逻辑或依赖云端接口，现在终于可以把真正的离线自然语言工具调用塞进几百块钱的硬件里，不仅零 API 成本，响应还在毫秒级。

我们认为 Cactus 这步棋下得非常务实。它没有去卷大模型的通用智能排行榜，而是用工业级的工程压缩，把工具调用的门槛打穿到了微型硬件的死角。虽然复杂的任务它依然无能为力，但作为端侧设备的本地指令路由器，这种极致轻量化的方向看起来极具生命力。