本文へスキップ
IFAI

AIツール

OpenAI、「Decisions API」のパブリックベータを公開 GPT-6 Luna搭載で最大10倍高速

公開 拡散指数 58

OpenAIはアプリのモデルやツール選択を支援する「Decisions API」のパブリックベータを全開発者向けに公開しました。GPT-6 Lunaを搭載し、従来のAPI比で最大10倍高速に動作。テキストや画像を元に、リクエストの振り分けや危険な呼び出しの検知をリアルタイムに行えます。

画像:youtube.com

AIエージェントを構築する開発者にとって、リクエストのルーティングや安全確認のためにモデルの応答を待つ時間は、常にパフォーマンスのボトルネックでした。

OpenAIはこうした課題に対処するため、リアルタイムに近い速度で判定を下せる新機能「Decisions API」のパブリックベータ版を全開発者向けに公開しました。

GPT-6 Lunaで判断を10倍高速化

Decisions APIの頭脳にはGPT-6 Lunaが採用されています。

OpenAIによると、従来のResponses API経由でGPT-6 Lunaを利用する場合と比較して、最大10倍の速度で判定を行えます。

入力にはテキストと画像の両方に対応しており、出力は次の3種類に特化しています。

1つ目は命題の真偽確率を推定する「Predicates」。

2つ目は事前定義された選択肢から確信度スコア付きで選ぶ「Choices」。

3つ目は指定した数値範囲内で入力を評価する「Scores」です。

用途としては、リクエストのモデル振り分け、データセットの分類、画像解析、フォーム入力のナビゲーション、そして危険なツール呼び出しの事前検知などが想定されています。

出力トークン料が完全無料という価格体系

価格設定も従来のAPIとは大きく異なります。

GPT-6 Lunaを利用した場合、入力トークンの料金は100万トークンあたり0.10ドルです。

支払いは入力トークン分のみで、キャッシュ読み取り料、キャッシュ書き込み料、そして出力トークン料は一切かかりません。

なぜ重要か

エージェントの処理フローにおいて、次のアクションを決める分岐処理は最も頻繁に発生するステップです。

従来の生成APIを使うとわずかな判定のためにトークン生成を待つ必要がありましたが、ここが高速化されればアプリ全体の体感速度は劇的に向上します。

私たちは、入力トークンのみ課金という仕組みをOpenAIが採用した点は非常に巧みだと考えています。出力コストを気にせずガードレールやルーティングを何重にも組み込めるため、今すぐ試す価値があります。

一方で業界全体を見ると、軽量な分類専用モデルやルーティング特化のミドルウェアを展開するスタートアップは厳しい立場に追い込まれそうです。

ただし、このAPIの仕様に依存したアーキテクチャを組むと、後から他社モデルへ移行しにくくなるというロックインのリスクは意識しておく必要があります。

情報源 (2)

  1. [1]
    x.com(新しいタブで開きます)原文x.com
  2. [2]

毎日のAIピックアップ