路透社：OpenAI 拟推带记忆的 API，调用成本最高可降 20 倍

首次发布 2023年10月11日 UTC 20:35传播指数 47

据路透社报道，OpenAI 计划在 11 月 6 日的首届开发者大会上推出重大更新，包括支持对话记忆的「有状态 API」，理论上可将调用成本降低高达 20 倍。此外，官方还计划向开发者开放图像分析的视觉 API，加速智能体生态落地。

现在做大模型应用，最折磨开发者的不是模型不够聪明，而是账单来得太快。

按 OpenAI 目前的计费规则，每跟用户聊一句，客户端就得把之前的整段对话历史重新打包发送一次。处理一份单页文档可能就要花掉 10 美分，一来二去，中小团队的成本根本兜不住。

据路透社报道，OpenAI 准备在 11 月 6 日旧金山举办的首届开发者大会上解决这个问题。知情人士透露，他们计划推出一系列重大更新，核心目的就是让开发者调用其模型的成本大幅下降、速度大幅提升。

把对话历史存起来，成本最高省 20 倍

这次更新里最引人注目的，是为开发工具引入记忆存储能力，也就是所谓的有状态接口（stateful API）。

说白了，以前的接口是健忘的，应用每次发请求都得自己带上全部上下文；改版之后，系统能记住对话历史，开发者不必重复传输历史信息。

知情人士称，这项改动在理论上能让应用开发者的调用成本直接降低高达 20 倍。对于那些试图靠卖 AI 软件活下去的初创团队来说，这几乎是生死攸关的减负。

除了降本，OpenAI 还打算向开发者开放视觉接口（Vision API）。

这项能分析和描述图像的多模态能力前几周刚向 ChatGPT 普通用户开放，如今终于要开放给第三方开发者，用来做医疗影像分析或娱乐类工具。

OpenAI 这么急着讨好开发者，背后其实有很现实的增长压力。

知情人士透露，OpenAI 高管曾预计今年营收达到 2 亿美元，到 2024 年要冲上 10 亿美元。但要把技术变成平台，光靠 C 端买 Plus 显然不够，首席执行官 Sam Altman 一直想建立以 OpenAI 为核心的软件生态。

可事情走得并不顺遂。今年早些时候，OpenAI 仓促推出了 ChatGPT 插件，原本寄希望于把它做成像苹果 App Store 一样的摇钱树。

结果不少排名前 30 的热门插件开发者反映，经历了一开始的尝鲜热潮后，活跃度掉得非常厉害。比如知名的学术插件 Scholar AI，近期日活跃用户也只剩大约 7000 人。

与此同时，竞争对手正在加速蚕食市场。根据 PitchBook 的数据，今年有超过 200 亿美元涌入 AI 初创公司，但投资人越来越担心初创项目对 OpenAI 的单向依赖，很多公司已经开始转投 Meta 的开源模型 Llama 或其他竞品。

对于广大开发者来说，这套更新的价值非常现实：它直接决定了你的项目能不能在账面上打平。如果记忆存储真能省下最高 20 倍的开销，原本跑不通的很多长文本分析、连续客服机器人，现在就值得重新做一遍算盘。

对整个行业而言，OpenAI 的这一招非常狠。前几个月 Meta 的开源模型靠着免授权费和可控性抢走了不少企业客户，OpenAI 这一次直接从成本端开刀，给闭源模型的实用化搬掉了最大的绊脚石，这会倒逼 Google 等云厂商不得不跟进降价。

我们认为，OpenAI 这次调整策略很聪明，但隐患依然存在。放弃鸡肋的插件平台叙事、老老实实做好底层接口和基建，是赢回开发者信任的正确动作。

但看起来，开发者的核心顾虑并没有彻底解除。今天 OpenAI 把状态存储和视觉能力收拢进自己的 API，明天就可能直接做一个官方功能，把跑在上面的套壳应用一脚踢开。如何证明自己是底层水力发电厂而不是掠食者，依然是 Sam Altman 没解答完的难题。

这个话题的历次新闻，最新的在上面。