OpenAI 升級 API:支援 Function calling 調外部介面,GPT-3.5 降價並推 16k 版本
OpenAI 宣佈為其 Chat Completions API 引入 Function calling 功能,模型能按開發者定義的函式結構返回標準 JSON。同時推出 16k 上下文的 gpt-3.5-turbo,並大幅降低嵌入與輸入 token 價格。這讓大模型連線外部工具和資料庫變得更加穩定可靠。

以前想讓大語言模型幫你查天氣、調資料庫,開發者得寫一大堆提示詞,求著模型「千萬只輸出 JSON,別說廢話」,但模型經常一開心就多吐一句「好的,這是你要的資料」,直接把後端的程式碼解析幹崩。
OpenAI 針對 API 推出了一組更新,最核心的一項就是給 gpt-4-0613 和 gpt-3.5-turbo-0613 帶來了「函式呼叫」(Function calling)能力。從此,大模型終於能穩穩當當地給外部系統當大腦了。
除了這項新能力,OpenAI 還推出了支援 16k 上下文的 gpt-3.5-turbo、大幅下調了 API 呼叫價格,並公佈了老模型的下線時間表。
讓模型直接說結構化人話
所謂的函式呼叫,說白了就是開發者在發起請求時,可以用 JSON Schema 告訴模型你手頭有哪些工具,比如發郵件函式 send_email、查天氣函式 get_current_weather。
模型在理解使用者的自然語言後,會自己判斷該不該調工具。如果需要,它不再回復一堆散文,而是精準輸出一個包含引數的 JSON 物件。
這就解決了三個經典痛點。第一是做聊天機器人,比如使用者說「問問 Anya 下週五要不要喝咖啡」,模型直接轉成郵件傳送指令。第二是將自然語言轉成資料庫查詢,把「本月前十大客戶是誰」轉成具體的 SQL 語句。第三是從長文本里抓取結構化資料,比如從維基百科文章裡批次提取人名和生日。
不過 OpenAI 也坦言,把外部工具接入模型依然存在安全風險。比如惡意資料可能借著工具返回的內容誘導模型執行非預期操作。官方提醒開發者,儘量只接入可信工具,涉及發郵件、花錢等有現實影響的操作,最好加上一道人工確認。
16k 上下文降臨,API 全面降價
這次更新的另一大主角是上下文容量。新推出的 gpt-3.5-turbo-16k 把上下文視窗從原本的 4k 直接拉到了 16k,相當於一次請求能塞進大約 20 頁文本。
價格方面,16k 版本的輸入每千 token 價格為 0.003 美元,輸出為 0.004 美元。而原本的 4k 版 gpt-3.5-turbo 輸入價格降了 25%,來到每千 token 0.0015 美元,算下來一美元大概能處理 700 頁文本。
降幅最狠的是向量模型 text-embedding-ada-002,呼叫成本直接砍掉 75%,降至每千 token 0.0001 美元。
至於老版本模型,gpt-3.5-turbo-0301 和 gpt-4-0314 的預設指向將在 6 月 27 日自動升級到新版本。如果應用需要鎖定舊版本,開發者可以在引數中指定具體型號程式碼,OpenAI 後來根據社群反饋,將這些老型號的支援時間延長至至少 2024 年 6 月 13 日。
為什麼重要
我們認為,函式呼叫是大模型從「聊天玩具」走向「軟體基礎設施」的關鍵一步。之前大家都在做套殼問答,或者用各種脆弱的正規表示式去解析大模型的文本輸出,開發體驗極差。現在模型原生支援結構化輸出和工具選擇,這意味著開發者可以用它真正搭建可靠的智慧體(Agent)和自動化工作流,不管是個人開發者做自動化指令碼,還是企業對接內部 ERP,門檻都驟降了。
對行業來說,OpenAI 實際上是把此前 ChatGPT 外掛系統(Plugins)的底層能力直接拆出來下放給了 API。這一招直接打向了 LangChain 等外部框架的核心領地:當模型本身就能穩定判斷工具和吐出標準引數時,上層框架那些複雜的膠水程式碼就顯得臃腫且多餘了。
降價和 16k 上下文的配合也很聰明。對於絕大多數中小團隊,GPT-4 依然太貴且排隊嚴重,而 16k 版 GPT-3.5 加上低廉的價格,讓處理長文件摘要、長對話記憶變得極具價效比。不過隱患依然存在:正如官方警告的提示注入風險,一旦外部介面返回的資料被汙染,擁有工具呼叫能力的模型很可能會變成不受控的提線木偶,安全防護的設計現在全落在了開發者自己的肩上。
來源 (1)
- openai.com(在新分頁開啟)原文openai.com