跳到正文
IFAI

大模型

OpenAI 上線 Decisions API:高頻判斷提速 10 倍且免輸出費

首次發布 傳播指數 55

OpenAI 宣佈 Decisions API 正式商用。該介面基於 GPT-6 Luna,專為分類、路由等有限選項決策設計,速度比標準響應快 10 倍,單次請求支援 400 個問題。最值得關注的是其完全免除輸出費用,百萬輸入僅需 0.10 美元。

OpenAI 上線 Decisions API:高頻判斷提速 10 倍且免輸出費
圖:openai.com

很多做 AI 智慧體或者應用架構的人,都吃過同一個悶虧:你只是想讓模型在三個選項裡挑一個,或者判斷一張圖裡有沒有破損,結果調一次通用大模型,不僅要乾等上一兩秒,還得按生成的一堆廢話 Token 掏錢。

OpenAI 顯然也算過這筆賬。10 月 22 日,OpenAI 宣佈把 Decisions API 轉為正式可用。這個介面底層用的是 GPT-6 Luna,專為那些答案範圍明確的微型決策設計,官方表示它的速度比直接用標準 Responses API 跑 GPT-6 Luna 快了最多 10 倍。

把大模型當開關用,還不收輸出費

Decisions API 的邏輯非常剋制。開發者只需要給出一個問題和限定的候選項,再把上下文傳進去,內容可以是文本、圖片,也可以是原生的 JSON 資料。

它返回的結果只有三種固定形式:一種是判定真偽的機率,比如估算商品有沒有磨損;第二種是從幾個預設選項裡挑一個,附帶機率和置信度,用來決定 Agent 是繼續、重試還是找真人求助;第三種則是根據規則打分,算出機率加權平均值,比如給受損嚴重度定級。

單次請求能問的問題上限這次也翻了一倍,最多能同時扔進去 400 個問題。更狠的是計費模式,輸入每百萬 Token 只要 0.10 美元,如果命中了快取只要 0.01 美元,而且完全不收輸出 Token 的費用。

即時對話和合規場景全補齊了

除了速度和價格,這次正式版還把鏈路補得更完整了。它原生打通了語音互動模組 GPT-Live,讓應用能在使用者說話的中途即時做決定。

比如客服系統能在對話流裡即時判斷要不要打斷追問,虛擬人也能根據使用者剛說的話,毫秒級切換眨眼或者微笑的微表情。OpenAI 自己內部的團隊也在用它,財務團隊拿它分揀賬單交易明細,公關團隊拿它給每天的海量報道分類並給敘事偏向打分。

另外,針對企業客戶,這次還上線了美國和歐盟的推理資料駐留,亞洲多個區域也擴充了算力,符合條件的企業還能啟用零資料保留。

為什麼重要

我們認為,Decisions API 是 OpenAI 最近少有的、極具工程美感的產品動作。

以往大家搭建 Agent 工作流,常常陷入兩難:要麼為了準確率硬上大模型,結果鏈路被幾個路由節點拖得奇慢無比;要麼自己微調一堆小分類模型,但維護成本和冷啟動又很痛苦。Decisions API 實際上把分類、路由、評分這套髒活直接標準化了,開發者拿 GPT-6 Luna 的底座當低延遲分類器用,價效比極高。

對行業來說,這也是給推理基礎設施打了個樣。以前 API 全是按生成的 Token 掙錢,OpenAI 這一手直接輸出零收費,本質上是在用結構化約束倒逼模型不做無意義的文字自迴歸,省下來的算力直接壓成了延遲和成本優勢。其他模型大廠如果跟進,可能也得專門最佳化這種受限決策路線。

不過隱患也不是沒有。把所有路由和分類邏輯全押在閉源端點上,開發者的業務流程會被進一步鎖在 OpenAI 的生態裡。但至少在當下,如果你手頭的應用正在被冗長的 Agent 分支邏輯拖慢,現在就值得去把那些非黑即白的判斷節點換成它試一試。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選