Strands 开源 Decider 2B：砍掉文本生成换来 115ms 极速决策

Strands Decider 2B 是一个参数量仅为 20 亿的开源决策模型。它不能陪你闲聊，也不写长篇大论，专长是在一组预先设定好的选项里做选择，并为每个选项给出一个可靠的置信度评分。

把生成头砍掉换上指针

传统的 LLM 靠逐个预测下一个 token 来生成文本，哪怕只是回答一个 yes 或 no，也得跑完整的生成链路。Decider 2B 换了一种思路，直接把它当成心理学里的「系统一」快速反应模型来做。

团队拿预训练的 Qwen3.5-2B 当身体躯干，直接拆掉了负责生成文本的语言模型头（LM head），换成了一个只有 100 多万参数的自定义指针头（pointer head）。底模则通过 rank-16 的 LoRA 适配器进行微调。

做判断时，指针头通过对比各个选项位置的隐藏状态与 answer 位置的隐藏状态来打分，单次并行前向传播就能拿到所有结果。现在发布的版本已经是经过多次迭代的第 19 版，此前他们测试过效果较差的槽位头结构，最终才确定了目前的指针方案。

因为省去了自回归生成的开销，它的延迟被压得极低。在一张消费级 Nvidia RTX 3090 显卡上，Decider 2B 做决策的中位数延迟只有 115 毫秒左右。即便拿没有独显的 M3 MacBook 来跑，小任务的中位数延迟也只有 153 毫秒，几乎感觉不到等待。

给本地 Agent 当毫秒级门禁

Decider 2B 显然干不了写代码、聊天或者文档摘要这类复杂的生成任务，解决复杂推理也不如大模型。但对于多步骤的 Agent 系统来说，它是极好的粘合剂。

开发者可以用它做模型路由、工具选取、记忆管理、上下文修剪或安全策略分类。官方展示了一个很实用的拦截场景：当用户随口问「今天天气怎么样」却没说地点时，某些急于执行的 Agent 往往会瞎猜一个城市直接调接口。

如果在调用工具前挂上 Decider 2B，它能在 100 多毫秒内判断两件事：用户到底有没有提到这个城市，以及现在调接口是不是太早了。如果置信度不足，就能立刻拦截并反问用户，而不需要浪费数秒钟和几千 token 去调用云端大模型做二次校验。

在 JevBench 公开评测集上，Decider 2B 在同类 2B 级别模型里准确率和校准度排在第 3 位（共 33 个模型），如果剔除几个参数略微超过 2B 的模型，它排在第 1 名，并且在简单任务上取得了 100% 的准确率。

目前该项目已经完全开源，代码和 CLI 工具放在 GitHub，模型权重放在 Hugging Face，连训练所用的全部数据集和脚本也一并公开了。

为什么重要

如果你在本地折腾 Agent 架构，或者正被 Agent 调用工具时的幻觉和延迟折磨，这个模型非常值得试一试。它精准切中了当前智能体落地的一个盲区：很多中间态的控制流，本质上只需要二选一或多选一的快速决断，根本不需要动用生成式大模型。

我们认为 Strands 这一步走得很讨巧。砍掉文本生成换取 115 毫秒的极致速度与可靠的置信度，让小模型在单张消费级显卡甚至笔记本上找到了不可替代的位置。这种轻量决策模型不仅能大幅压低云端 API 账单，还可能成为未来 Agent 标配的第一道防线。