跳到正文
IFAI

大模型

OpenAI 推出 GPT-4o 实验版:单次最高输出 64K token

首次发布 传播指数 60

OpenAI 推出实验版模型 gpt-4o-64k-output-alpha,单次请求最多能生成 64K token。由于长输出推理成本更高,该模型每百万输入 token 收费 6 美元,输出为 18 美元,目前仅面向 Alpha 测试用户开放。

如果你经常让 AI 帮忙写完整项目代码,或者一口气生成长篇调研报告,肯定遇到过话说了一半突然卡住的尴尬。你不得不回一句继续,拼出来的代码还经常少括号。

OpenAI 悄悄上线了一个新实验版本,名字就叫 GPT-4o Long Output。它把单次请求的最大输出长度直接拉到了 64K token,也就是大约 64000 个 token。

目前这个模型只向参与 Alpha 测试的开发者开放,调用的模型名称是 gpt-4o-64k-output-alpha。

一口气输出几万字,代价是涨价

能一口气吐出 64K token 确实省心,但天下没有免费的午餐。

OpenAI 在官方说明中明确表示,从推理角度来看,超长输出消耗的算力成本更高。为了覆盖这些支出,这个实验模型的单 token 价格直接水涨船高。

具体的定价是输入每 100 万 token 收费 6 美元,输出每 100 万 token 收费 18 美元。相比之下,这比常规版本的调用成本高出不少。

与此同时,微软也跟进了自家生态里的动作,宣布在 Azure 平台上线带有视觉支持的 GPT-4o mini API,首批覆盖全球及美东区域标准部署,开发者可以在 Playground 里直接测试视觉识别和多模态理解。

为什么重要

我们认为,OpenAI 这次调整切中的是一个让很多开发者头疼已久的真实痛点。

以前大模型普遍是输入上下文给得很慷慨,动辄 128K 甚至更高,但单次输出往往被卡在 4K 左右。这意味着想让 AI 生成复杂的端到端程序、长篇小说章节或者几万字的分析报告,开发者必须自己写一套拆分任务、拼接结果、维持上下文一致性的中间层代码,既脆弱又容易出错。

把单次输出放宽到 64K,看起来是一次简单的参数解绑,但背后需要模型在极长文本生成时依然保持注意力不涣散、逻辑不崩盘,这本身对底层推理架构也是个考验。

不过,这个方案目前也有显而易见的门槛。首先是每百万 token 18 美元的输出价格,如果频繁跑满 64K 输出,一次请求的成本就超过 1 美元,对于普通个人开发者或者预算敏感型团队来说并不算便宜。

更现实的隐患是响应延迟。一口气输出几万 token 意味着请求可能需要挂起几十秒甚至更久,如何处理网络超时和流式传输的中断,会直接考验产品的稳定性。无论如何,对于确实需要完整产出长内容的复杂业务来说,这依然是一个非常值得关注的探索方向。

来源 (2)

  1. [1]
    openai.com(在新标签页打开)原文openai.com
  2. [2]

每日 AI 内容精选