OpenAI 推出 GPT-4 Turbo：支援 128K 上下文，價格腰斬再腰斬

以前開發者呼叫大模型，最頭疼的往往不是寫提示詞，而是工程髒活：上下文塞不下幾篇長文件，為了讓模型輸出穩定的 JSON 格式得反覆重試，還要自己搭向量資料庫、切文本做檢索。

在首屆 DevDay 開發者大會上，OpenAI 拿出了 GPT-4 Turbo 和一整套開發者介面更新。簡單來說，不僅模型能力變強、價格打骨折，更重要的是，他們開始直接替開發者清理那些繁瑣的基礎設施。

上下文拉滿，價格打骨折

這次的主角是 GPT-4 Turbo 預覽版。它的知識庫更新到了 2023 年 4 月，最引人注目的是上下文視窗直接拉到了 128K，相當於單次可以塞進超過 300 頁文本。

更狠的是價格。相比原版 GPT-4，GPT-4 Turbo 的輸入價格降到原本的三分之一，輸出價格也降到二分之一。對於跑大批次任務的團隊來說，賬單壓力直接減輕了大半。

開發體驗上的痛點也被順手修了一批。新模型支援單條訊息並行呼叫多個函式，比如一句同時開啟車窗並關閉空調就能搞定，不用再來回往返模型多次。

此外，官方加入了專門的 JSON 模式，通過固定引數保證模型輸出語法正確的 JSON 物件，還加入了類似種子引數的功能，方便開發者在寫單元測試或除錯時復現穩定的模型輸出。

連帶著 GPT-3.5 Turbo 也升級了預設 16K 上下文，官方測試其格式遵循能力提升了 38%，同樣吃到了並行函式呼叫和 JSON 模式的紅利。

替你管狀態的 Assistants API

如果說模型降價是常規軍備競賽，那麼 Assistants API 就是直接動了中介軟體開發者的蛋糕。OpenAI 想用它幫開發者做智慧體形態的應用。

以往做多輪對話，應用端需要自己記錄聊天曆史、計算滑動視窗、裁剪過長記錄。Assistants API 引入了持久化執行緒，直接把對話狀態的管理權接管到了雲端，開發者只要往現有會話裡追加訊息即可。

更省事的是開箱即用的三大工具：程式碼直譯器能在沙箱裡跑 Python 跑資料；檢索功能免去了自己算嵌入向量、切片和搭建搜尋演算法的麻煩；再加上函式呼叫，智慧體調外部系統也順理成章。

在多模態方面，OpenAI 把 GPT-4 視覺能力、DALL·E 3 和文字轉語音介面一併開放。視覺呼叫按圖片解析度收費，TTS 提供了兩種清晰度檔次和六種預設音色，生成影像起步價為每張 0.04 美元。

為什麼重要

我們認為，這次更新最兇狠的地方不是引數多大，而是把大批做中間層封裝的初創團隊逼到了牆角。

過去大半年裡，不少創業專案核心價值就是幫人切文件、算向量、存知識庫做問答，或者自己封裝一個上下文管理器。現在 OpenAI 官方用 Assistants API 一鍵打包了檢索和沙箱程式碼執行，不僅免費替開發者省掉搭建複雜架構的精力，體驗和相容性還往往比第三方拼湊出來的方案更好。

對普通開發者和中小團隊而言，現在絕對值得第一時間去用。不僅 128K 上下文和降價直接拉低了探索長文本處理的門檻，JSON 模式和持久化會話也意味著上線一個靠譜原型的時間可以從幾週縮短到幾天。

不過隱患同樣擺在眼前。開發者一旦徹底依賴官方託管的會話狀態和黑盒檢索，就等於把自己死死綁在了 OpenAI 的生態裡，未來想換用開源模型或自建私有化方案時，遷移代價會變得極其高昂。