跳到正文
IFAI

大模型

OpenAI 调整大模型研发策略:代号 Orion 提升放缓,转向合成数据与后训练

首次发布 传播指数 51

据报道,OpenAI 代号为 Orion 的下一代旗舰模型性能提升幅度放缓,在编程等领域未能显著拉开差距。为此 OpenAI 正在调整策略,转向利用合成数据训练并加大后训练投入。公司已确认,今年不会发布 Orion。

大家可能还在等着 OpenAI 掏出下一个把全场看呆的巨无霸模型,但现实可能要泼一盆冷水了。

据 The Information 报道,测试过 OpenAI 下一代旗舰模型 Orion 的员工透露,新模型的性能确实比现有产品好,但提升幅度远没有当年 GPT-3 跨越到 GPT-4 时那么惊艳。报道甚至提到,在编程等特定任务上,Orion 甚至可能无法拉开与现有模型的差距。

堆算力的大模型,也撞墙了

其实不止是 OpenAI,整个大模型领域似乎都开始面对这种边际效应递减的尴尬。

当年从 GPT-3 到 GPT-3.5,再到 GPT-4 的惊天一跃,让人们习惯了每次版本迭代都有翻天覆地的变化。但如今每往前走一代,技术突破的跨度和威力似乎都在缩水。

这也是为什么 OpenAI 内部成立了专门的团队,专门琢磨后续该怎么改动训练方式。单纯靠抓取互联网上的公开网页数据,优质数据资源显然已经快见底了。

现在的应对方案之一,是转向合成数据。也就是让现有的 AI 模型去生成数据,再拿来喂给 Orion 训练。同时,团队也把更多精力放到了之前相对缺席的后训练环节上,试图在模型练完之后继续精细雕琢。

进展不及预期,发布节奏自然也踩了刹车。此前外界普遍猜测新一代模型会在 12 月亮相,但 OpenAI 随后明确对 TechCrunch 表示,今年并没有发布代号 Orion 模型的计划。再加上 11 月 8 日 ChatGPT 刚刚经历了一场波及大批用户的宕机事故,且有迹象显示 ChatGPT 的用户数量正在缓慢下滑,团队显然需要放慢脚步重新审视路线。

为什么重要

我们认为,Orion 展现出的疲态,意味着靠堆规模、堆算力就能轻松实现智能飞跃的暴力美学时代,大概率已经告一段落了。

对普通用户和开发者来说,现在不用再为 GPT-5 的跳票感到过度焦虑。短期内我们可能看不到全方位碾压现有水准的万能模型,这也意味着大家手头基于现有模型搭建的工作流和应用,不会在一夜之间被推倒重来,大家可以更安心地把精力放在打磨实际场景上。

对整个行业而言,领头羊的放缓会让追赶者的身位咬得更紧。当最前沿模型的算力红利见顶,各家大厂的竞争势必会从拼参数规模,转向拼后训练微调和实际落地效率。谁能在垂直领域把现有模型的潜力榨干,谁就能占到便宜。

但从策略上看,拿 AI 生成的合成数据去训练下一代 AI,看起来虽然是迫不得已的聪明招数,背后其实藏着不小的隐患。模型会不会在自我生成的循环里产生模型退化,后训练能不能彻底弥补底层能力的不足,依然需要打个大大的问号。OpenAI 正在探索的这条新路,可以说是硬着头皮在给全行业趟雷。

来源 (2)

  1. [1]
    theinformation.com(在新标签页打开)原文theinformation.com
  2. [2]

话题追踪OpenAI Orion 模型开发

这个话题的历次新闻,最新的在上面。

  1. OpenAI 调整大模型研发策略:代号 Orion 提升放缓,转向合成数据与后训练本条
  2. OpenAI 传 12 月发布下一代旗舰模型 Orion,官方回应否认
  3. OpenAI 曝光新模型 Strawberry:向美官员展示,正用来训练下一代 Orion

每日 AI 内容精选