Cactus 发布 Needle 3：仅 8 至 29 MB 的端侧模型，单片机也能调工具

现在大家聊起本地大模型，动不动就得搬出几十 GB 显存的显卡，即便稍微精简一下的端侧模型，体积也动辄两三个 G。可如果你只是想让智能手表记个账，或者让扫地机器人听懂一句「打扫厨房但别进卧室」，设备里根本不需要塞进一个满腹经纶的哲学家。

Cactus 正式发布了专为超小型设备打造的基础模型 Needle 3。最让人惊讶的是它的体积：整包二进制文件只有 8 至 29 MB，模型参数在 2900 万到 1.21 亿之间。它不基于传统的 Transformer 架构，而是跑在 Cactus 自研的 Simple Attention Network 之上，能在毫秒级时间内搞定设备的控制和解析。

砍掉闲聊，专做硬件的「神经中枢」

Needle 3 之所以能做到这么小，是因为它做了一个极为彻底的取舍：直接放弃通用的日常闲聊能力，把所有算力全砸在工具调用、结构化数据提取和本地文本嵌入上。

换句话说，你别指望它陪你谈人生，但给硬件下指令它是行家。官方数据显示，Needle 3 在移动端工具调用测试中击败了体积大它 10 倍的模型，在信息提取任务上也追平了体积大 2 到 3 倍的对手。当用户提出需求时，它能准确挑出对应的功能并填好参数；如果当前没有能处理的工具，它会直接返回空列表，而不是像很多大模型那样开始凭空胡诌。

在数据提取上，只要开发者定义好数据格式，给它一段杂乱的文本，它就能吐出标准规范的 JSON 数据。即使在配置很低的微控制器、智能手表、AR 眼镜或者车机座舱里，它也能完全脱离网络，在本地把发票、预订通知或者语音指令转成机器能懂的结构化字段。

一套权重，从单片机灵活伸缩到手机

传统的端侧部署，往往得为手表、手机、开发板分别训练和裁剪不同的模型，而 Needle 3 搞了一套被称为「智能分层」（Intelligence laddering）的机制。

整个模型的每一层都是一个能力递增的子网络。开发者可以根据手头设备的算力高低，自由选择只激活 2 层还是开满 20 层。算力极度受限的单片机只跑 2 层网络，功耗极低；换到性能更充裕的手机或者树莓派上，就可以激活更多层数以获得更高的理解精度，而背后用的其实是同一套权重体系。

这套模型在包含 3600 亿 token 的专有结构化数据集上训练，经过 CQ2 量化后被压到了极致。在树莓派 5 上实测，它的预填充速度达到每秒 1000 到 10000 token，解码速度也能达到每秒 400 到 4000 token。开发者用 pip 安装 Python 包后即可直接加载预编译引擎，官方还为 macOS、Windows、Linux、Android、iOS 和 WebAssembly 等几乎所有常见平台提供了不到 1 MB 的极小引擎运行时。

如果针对特定产品做下游微调，只需 1 个 epoch，微调后的 4 层子网络就能在特定任务上匹敌 DeepSeek V4 Flash，在 DroidCall 测试中的表现提升了 18 到 36 分。

为什么重要

在所有人都在卷参数规模和多模态通用能力的当下，Needle 3 走了一条极其务实甚至有点反潮流的路线。我们认为这步棋下得非常聪明。

长期以来，智能家居、可穿戴设备和物联网硬件面临着两难：要么必须实时联网调用云端大模型，既有网络延迟，还要承担持续的服务器调用费，更伴随着严重的隐私顾虑；要么就只能使用死板的固定关键词匹配，只要用户换个句式，设备立马变「智障」。Needle 3 把工具调用的门槛打到了 8 MB，意味着几十块钱的单片机也能拥有理解自然语言并映射到具体 API 的能力，而且完全离线运行。

对于硬件开发者和独立开发者来说，这意味着极大的自由度。你不再需要为一个小闹钟或车载模块搭建复杂的云端交互链路，直接用官方提供的轻量运行时就能把离线语义解析塞进设备固件里。

当然，这种取舍也有明显的边界。Needle 3 毫无通用常识推理能力，遇到需要多步发散或复杂逻辑的任务就会彻底哑火，且对开发者的工具定义规范要求极高。如果提示词和工具描述不够精准，小模型的容错空间会比百亿模型狭窄得多。但这丝毫不妨碍它成为极具杀伤力的专用齿轮：它没有把设备变成高谈阔论的学者，而是做成了反应极快、绝不掉线的智能遥控器。