Strands、テキスト生成を省き115msで即断する「Decider 2B」をオープンソース公開

Strands Decider 2Bは、事前定義された選択肢の中から答えを選び、確信度スコアを算出することだけに特化した20億パラメータのオープンソース意思決定モデルです。自由なテキスト生成や雑談はできませんが、判断の速さと軽さに振り切っています。

テキスト生成を捨ててポインタに特化

通常のLLMは次の単語を1つずつ予測して文章を生成するため、単に「はい」か「いいえ」を選ぶだけでも相応の処理時間がかかります。

Strandsの開発チームは、ベースモデルとしてQwen3.5-2Bを採用し、テキスト生成を担う言語モデルヘッド（LM head）を完全に切り落としました。その代わりに、わずか100万パラメータ強のカスタムポインタヘッドを接続し、rank-16のLoRAアダプタでファインチューニングしています。

ポインタヘッドは選択肢の位置と回答位置の隠れ状態を照合してスコアを算出するため、すべての処理が1回の並列フォワードパスで完了します。公開されたモデルはすでに第19世代の設計で、以前試したスロットヘッド構成よりも高い精度を達成しています。

自己回帰的な生成を行わないため、応答速度は極めて優秀です。一般的なNvidia RTX 3090上で測定した中央値レイテンシは約115ミリ秒にとどまります。M3チップを搭載したMacBook上でも、小規模なタスクなら約153ミリ秒で判断を返します。

ローカルAgentのミリ秒単位の検疫役に

Decider 2Bは文章作成や複雑な推論問題には向いていません。しかし、AIエージェントの内部処理において、ツールの選択、ルーティング、コンテキスト管理、安全ガードレールといった分岐処理を担当させるには最適です。

例えばユーザーが都市名を言わずに「天気を教えて」と尋ねた際、先走りやすいエージェントは勝手に都市名を推測してAPIを呼んでしまうことがあります。ツールの実行直前にDecider 2Bを検疫役として挟めば、約100ミリ秒でパラメータの根拠不足を検知し、外部APIを叩く前にユーザーへの聞き返しへと誘導できます。

公開ベンチマーク「JevBench」において、Decider 2Bは2Bクラスの33モデル中、精度とキャリブレーションで3位を獲得しました。厳密に2B以下のモデルに絞れば1位の成績で、平易なタスクでは正解率100%を記録しています。

本プロジェクトはGitHubでコードとCLIが公開されており、モデルの重みはHugging Faceから取得可能です。学習データやスクリプトまで全て無償公開されています。

なぜ重要か

ローカル環境でエージェントを動かしている開発者や、推論コストと待ち時間に悩んでいる人にとって、今すぐ試す価値があるツールです。これまでは単純な分岐判定のためだけに、重いLLMを呼び出して数秒待つか、壊れやすい正規表現に頼るしかありませんでした。

文章生成を大胆に捨て去ることで、単一のコンシューマー向けGPUで確実に動く超低遅延な判定機構を手に入れた点は非常にスマートです。こうした軽量な意思決定モデルは、今後のエージェント設計における標準的な接着剤になっていくと考えられます。