Strands 開源 Decider 2B：砍掉文本生成換來 115ms 極速決策

Strands Decider 2B 是一個引數量僅為 20 億的開源決策模型。它不能陪你閒聊，也不寫長篇大論，專長是在一組預先設定好的選項裡做選擇，併為每個選項給出一個可靠的置信度評分。

把生成頭砍掉換上指標

傳統的 LLM 靠逐個預測下一個 token 來生成文本，哪怕只是回答一個 yes 或 no，也得跑完整的生成鏈路。Decider 2B 換了一種思路，直接把它當成心理學裡的「系統一」快速反應模型來做。

團隊拿預訓練的 Qwen3.5-2B 當身體軀幹，直接拆掉了負責生成文本的語言模型頭（LM head），換成了一個只有 100 多萬引數的自定義指標頭（pointer head）。底模則通過 rank-16 的 LoRA 介面卡進行微調。

做判斷時，指標頭通過對比各個選項位置的隱藏狀態與 answer 位置的隱藏狀態來打分，單次並行前向傳播就能拿到所有結果。現在釋出的版本已經是經過多次迭代的第 19 版，此前他們測試過效果較差的槽位頭結構，最終才確定了目前的指標方案。

因為省去了自迴歸生成的開銷，它的延遲被壓得極低。在一張消費級 Nvidia RTX 3090 顯示卡上，Decider 2B 做決策的中位數延遲只有 115 毫秒左右。即便拿沒有獨顯的 M3 MacBook 來跑，小任務的中位數延遲也只有 153 毫秒，幾乎感覺不到等待。

給本地 Agent 當毫秒級門禁

Decider 2B 顯然幹不了寫程式碼、聊天或者文件摘要這類複雜的生成任務，解決複雜推理也不如大模型。但對於多步驟的 Agent 系統來說，它是極好的粘合劑。

開發者可以用它做模型路由、工具選取、記憶管理、上下文修剪或安全策略分類。官方展示了一個很實用的攔截場景：當用戶隨口問「今天天氣怎麼樣」卻沒說地點時，某些急於執行的 Agent 往往會瞎猜一個城市直接調介面。

如果在呼叫工具前掛上 Decider 2B，它能在 100 多毫秒內判斷兩件事：使用者到底有沒有提到這個城市，以及現在調介面是不是太早了。如果置信度不足，就能立刻攔截並反問使用者，而不需要浪費數秒鐘和幾千 token 去呼叫雲端大模型做二次校驗。

在 JevBench 公開評測集上，Decider 2B 在同類 2B 級別模型裡準確率和校準度排在第 3 位（共 33 個模型），如果剔除幾個引數略微超過 2B 的模型，它排在第 1 名，並且在簡單任務上取得了 100% 的準確率。

目前該專案已經完全開源，程式碼和 CLI 工具放在 GitHub，模型權重放在 Hugging Face，連訓練所用的全部資料集和指令碼也一併公開了。

為什麼重要

如果你在本地折騰 Agent 架構，或者正被 Agent 呼叫工具時的幻覺和延遲折磨，這個模型非常值得試一試。它精準切中了當前智慧體落地的一個盲區：很多中間態的控制流，本質上只需要二選一或多選一的快速決斷，根本不需要動用生成式大模型。

我們認為 Strands 這一步走得很討巧。砍掉文本生成換取 115 毫秒的極致速度與可靠的置信度，讓小模型在單張消費級顯示卡甚至筆記本上找到了不可替代的位置。這種輕量決策模型不僅能大幅壓低雲端 API 賬單，還可能成為未來 Agent 標配的第一道防線。