OpenAI 推出新嵌入模型：效能提升且降價，GPT-3.5 降價 50%

很多開發者最近都在吐槽兩件事：一是 GPT-4 越來越「懶」了，寫程式碼寫一半就留一堆註釋讓使用者自己補；二是搭建 RAG 知識庫檢索時，向量儲存的成本和準確率總是兩頭為難。

OpenAI 選在這個時候丟出了一整套更新，把這兩塊痛點一次性給包攬了。

這次更新的主角是兩款全新的嵌入模型：text-embedding-3-small 和 text-embedding-3-large。它們直接替代了 2022 年底釋出的經典老將 text-embedding-ada-002。

向量可以切短，價格直接砍掉八成

小號的 text-embedding-3-small 主打價效比，價格比前代直接砍了 80%，每 1000 個 token 只要 0.00002 美元。不僅便宜，多語言檢索基準 MIRACL 的得分從 31.4% 衝到了 44.0%，英文 MTEB 基準也微漲到 62.3%。

大號的 text-embedding-3-large 則是效能怪獸，支援最高 3072 維向量，MIRACL 得分飆升到 54.9%，MTEB 達到 64.6%，每 1000 個 token 定價 0.00013 美元。

這次最精妙的設計是支援「靈活截斷」。以前模型輸出多少維，你的向量資料庫就得存多大，佔用記憶體和查詢開銷都居高不下。

現在你只要在 API 裡傳一個 dimensions 引數，就能直接砍掉尾部多餘的數字。比如把 3-large 截斷到 256 維，在測試集上的表現居然還能壓過當年 1536 維的 ada-002。

如果你的向量資料庫只支援 1024 維，現在也可以放心地把 3072 維的大模型壓縮放進去，犧牲極小的精度換取極大的儲存節省。

治好 GPT-4 的「懶癌」，GPT-3.5 再次大降價

模型本體也迎來了修補。

新版的 GPT-4 Turbo 預覽版代號 gpt-4-0125-preview，專門針對社群反饋強烈的「偷懶」問題進行了最佳化，生成程式碼時不再輕易敷衍或者中斷，同時修復了非英語 UTF-8 字元生成的錯誤。

下週上線的 gpt-3.5-turbo-0125 則是過去一年裡的第三次降價。輸入價格再降 50% 到每千 token 0.0005 美元，輸出降 25% 到 0.0015 美元，還順手修掉了非英語函式呼叫的文本編碼 bug。

後臺管理上也添了實用功能：開發者現在可以給不同的 API Key 分配只讀或特定端點許可權，儀表盤也能直接按 Key 檢視各自的花銷，不用再為多人共用賬戶對賬頭疼。

為什麼重要

對開發者和企業來說，這可以說是做 RAG 知識庫和搜尋應用的一場及時雨。向量嵌入和向量資料庫的儲存成本向來是實際落地的大頭，新模型不僅把 API 呼叫費打到了骨折，還允許你靠縮減維度把向量資料庫的記憶體佔用直接砍掉一大半，現在把老系統升級到新嵌入幾乎是不用猶豫的。

在行業競爭上，OpenAI 的這一招非常毒辣。它沒有單純去卷大模型的引數規模，而是順著開發者的日常工程痛點去精準降價和最佳化管線。GPT-3.5 降到這個地步，基本上把市面上很多主打價效比的開源中小模型逼到了死角。

我們認為，OpenAI 這次最聰明的舉措是訓練出了支援動態截斷維度的嵌入模型。很多團隊卡在舊向量資料庫的規格限制上無法升級，OpenAI 等於給了一把萬能鑰匙，既讓使用者留在了自己的生態裡，又順水推舟化解了下游儲存的硬體包袱。