跳到正文
IFAI

大模型

OpenAI 推出新嵌入模型:性能提升且降价,GPT-3.5 降价 50%

首次发布 传播指数 53

OpenAI 推出两款新嵌入模型 text-embedding-3-small 与 large,支持灵活缩短维度以降低存储成本,小模型价格降至上一代的五分之一。同时,GPT-3.5 Turbo 输入价格降低 50%,更新版 GPT-4 Turbo 预览版也上线并改善了代码生成偷懒问题。

OpenAI 推出新嵌入模型:性能提升且降价,GPT-3.5 降价 50%
图:openai.com

很多开发者最近都在吐槽两件事:一是 GPT-4 越来越「懒」了,写代码写一半就留一堆注释让用户自己补;二是搭建 RAG 知识库检索时,向量存储的成本和准确率总是两头为难。

OpenAI 选在这个时候丢出了一整套更新,把这两块痛点一次性给包揽了。

这次更新的主角是两款全新的嵌入模型:text-embedding-3-small 和 text-embedding-3-large。它们直接替代了 2022 年底发布的经典老将 text-embedding-ada-002。

向量可以切短,价格直接砍掉八成

小号的 text-embedding-3-small 主打性价比,价格比前代直接砍了 80%,每 1000 个 token 只要 0.00002 美元。不仅便宜,多语言检索基准 MIRACL 的得分从 31.4% 冲到了 44.0%,英文 MTEB 基准也微涨到 62.3%。

大号的 text-embedding-3-large 则是性能怪兽,支持最高 3072 维向量,MIRACL 得分飙升到 54.9%,MTEB 达到 64.6%,每 1000 个 token 定价 0.00013 美元。

这次最精妙的设计是支持「灵活截断」。以前模型输出多少维,你的向量数据库就得存多大,占用内存和查询开销都居高不下。

现在你只要在 API 里传一个 dimensions 参数,就能直接砍掉尾部多余的数字。比如把 3-large 截断到 256 维,在测试集上的表现居然还能压过当年 1536 维的 ada-002。

如果你的向量数据库只支持 1024 维,现在也可以放心地把 3072 维的大模型压缩放进去,牺牲极小的精度换取极大的存储节省。

治好 GPT-4 的「懒癌」,GPT-3.5 再次大降价

模型本体也迎来了修补。

新版的 GPT-4 Turbo 预览版代号 gpt-4-0125-preview,专门针对社区反馈强烈的「偷懒」问题进行了优化,生成代码时不再轻易敷衍或者中断,同时修复了非英语 UTF-8 字符生成的错误。

下周上线的 gpt-3.5-turbo-0125 则是过去一年里的第三次降价。输入价格再降 50% 到每千 token 0.0005 美元,输出降 25% 到 0.0015 美元,还顺手修掉了非英语函数调用的文本编码 bug。

后台管理上也添了实用功能:开发者现在可以给不同的 API Key 分配只读或特定端点权限,仪表盘也能直接按 Key 查看各自的花销,不用再为多人共用账户对账头疼。

为什么重要

对开发者和企业来说,这可以说是做 RAG 知识库和搜索应用的一场及时雨。向量嵌入和向量数据库的存储成本向来是实际落地的大头,新模型不仅把 API 调用费打到了骨折,还允许你靠缩减维度把向量数据库的内存占用直接砍掉一大半,现在把老系统升级到新嵌入几乎是不用犹豫的。

在行业竞争上,OpenAI 的这一招非常毒辣。它没有单纯去卷大模型的参数规模,而是顺着开发者的日常工程痛点去精准降价和优化管线。GPT-3.5 降到这个地步,基本上把市面上很多主打性价比的开源中小模型逼到了死角。

我们认为,OpenAI 这次最聪明的举措是训练出了支持动态截断维度的嵌入模型。很多团队卡在旧向量数据库的规格限制上无法升级,OpenAI 等于给了一把万能钥匙,既让用户留在了自己的生态里,又顺水推舟化解了下游存储的硬件包袱。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选