TypeSafe、テキスト生成を省いた高速判断AI「Jev」公開　最大200倍高速で出力無料

大規模言語モデルは人間との対話において目覚ましい進化を遂げましたが、ソフトウェア開発者にとって、それらをシステムの内部ロジックに組み込むのは今なお頭の痛い課題です。単純な判定や分類を任せようとしても数秒の待機時間が発生し、APIコストが膨らみ、時には想定外の文字列が出力されてシステムをクラッシュさせます。

この課題に対し、「テキスト生成を捨てる」という大胆なアプローチを選んだスタートアップが登場しました。

TypeSafe AIは構造化出力に特化した意思決定モデル「Jev」を発表し、早期アクセスを開始しました。創業者のDiogo Almeida氏は、OpenAIでChatGPTを支える強化学習手法の開発に携わった元研究者です。

文章を作らず、並列に確率だけを返す

一般的なLLMはトークンを1つずつ順番に生成するため、処理に時間がかかり、JSONなどのデータ形式を指定しても構文エラーを起こすリスクが残ります。

Jevはこの逐次生成を完全に排除しました。新たに導入された「較正意思決定強化学習（RLCD）」により、直感的な即時判断を下す「System One」モデルとして設計されています。

利用者はあらかじめ回答の候補やデータ型を定義します。Jevはテキスト情報を受け取ると、すべての選択肢に対する確率と信頼度スコアを並列で一括計算します。出力形式が数学的に制限されているため、型エラーや書式のハルシネーションは原理的に発生しません。

応答時間は70〜500ミリ秒で、同等のタスクにおいて既存の先端モデルより40〜200倍高速とされています。価格も極めて低く抑えられており、入力トークンは100万件あたり0.042ドル、出力トークンは無料です。

現場の開発者が見出す実用性とDoomのデモ

早くも実務での検証が進んでいます。エージェント向けインフラを手掛けるVercelのエンジニアPranit Sharma氏によれば、コマンドの安全審査に利用していたOpenAIのChatGPT Luna 5.6をJevに置き換えたところ、精度が向上した上で処理速度が5〜18倍になったといいます。

Bryo AIのCTOを務めるNikhil Mudholkar氏はメール分類で検証し、Geminiに比べ10〜20倍安価であり、確実な確率値が返ってくるため自動化パイプラインに最適だと評価しました。

TypeSafeはリアルタイム性の証明として、Jevに古典的ゲーム『Doom』をプレイさせるデモを公開しました。毎秒10回の判断を下しても、1時間あたりのAPI費用は約7ドルにとどまります。

開発者向けツールを開発するEarendilのCTO、Armin Ronacher氏は、信頼度が95%なら自動処理し、50%なら人間に確認を回すといった条件分岐や、他の高価なLLMへ振り分けるルーターとしてJevが有望だと指摘しています。

なぜ重要か

Jevという名称は、資源の利用効率が向上してコストが下がると消費量が爆発的に増えるという「ジェボンズのパラドックス」に由来しています。

開発者にとって、Jevはコード内に埋め込める「極めて安価で高速なスマートif文」としての価値を持ちます。これまでUIの応答遅延やAPI費用を懸念して諦めていた入力バリデーション、セキュリティ検知、データ分類などの反復タスクを、現実的な速度とコストで自動化できるようになります。

先端AI研究所がこぞって「思考型」の重厚なモデルへ突き進むなか、あえて文章出力を捨てて即時応答に特化したTypeSafeの戦略は非常に合理的だと私たちは考えます。多くの基幹システムが必要としているのは、長文の語り手ではなく、確実で高速な意思決定エンジンだからです。

ただし過度な期待は禁物です。型エラーがゼロでも判断そのものを誤る可能性は残りますし、選択肢が事前に定まらないオープンエンドな用途には使えません。また自社ベンチマークは他社モデルの平均出力を正解基準としている側面があるため、本番環境での実際の精度は今後の検証を待つ必要があります。