下一代大模型撞墙：高质量数据告急，OpenAI 与 Google 进展受阻

以前大家总觉得，只要不断往大模型里堆算力和网页数据，AI 就会像变魔术一样越来越聪明。

但现在，连跑在最前面的几家巨头自己都发现，这条路似乎快要撞墙了。

据彭博社等媒体报道，OpenAI、Google 和 Anthropic 在研发下一代前沿大模型时，集体遭遇了进展放缓和边际收益递减的难题。最核心的死结非常现实：网上能抓到的高质量公开数据，快被它们吃光了。

Orion 没带来 GPT-4 那样的跃升

以 OpenAI 为例，内部代号为 Orion 的新旗舰模型在 9 月完成了初步训练。OpenAI 原本寄希望于它能大幅超越先前的版本，甚至可能放弃像 GPT-5 这样按部就班的数字命名。

但知情人士透露，Orion 的实际表现并没有达到预期目标。在夏天晚些时候的测试中，面对训练集之外的编程难题，它频频碰壁。

大家普遍的感觉是，Orion 相比现有模型的提升幅度，根本比不上当年从 GPT-3.5 跨越到 GPT-4 时带来的那种惊艳感。

类似的心烦事也落在了对手头上。据报道，Google 最新的 Gemini 模型同样没有达到内部设定的性能指标；而 Anthropic 迟迟没有推出备受期待的 Claude 3.5 Opus，背后的推迟也被认为碰到了类似的瓶颈。

数据吃光了，钱也快烧不起了

技术上撞墙，说白了是因为喂给大模型的「饲料」不够用了。过去几年，ChatGPT 们几乎吞下了整个公开互联网的内容，但现在新鲜、优质的数据极度匮乏。

与此同时，版权方和创作者开始筑起高墙。未经许可抓取内容的做法引发了大量诉讼，Sam Altman 自己都承认，不用受版权保护的材料几乎不可能做出这种模型。虽然 OpenAI 最近在针对 Raw Story 和 AlterNet 的诉讼中暂时胜诉，但版权摩擦依然是个长期的炸药包。

更要命的是账单。OpenAI 在靠微软、英伟达等投资者拿到 66 亿美元融资之前，曾预计面临高达 50 亿美元的亏损。虽然公司估值被推到了 1570 亿美元，但分析师预计亏损还会持续，甚至要到 2029 年才可能盈利。

OpenAI 必须在规定期限内转为营利性实体，否则就要退还投资者的钱。在商业化重压下，如果继续砸下数十亿美元搞基础设施，却换不来智能上的质变，资方很难一直保持耐心。

为什么重要

对于每天用 ChatGPT 写代码、写报告的普通人和开发者来说，这意味着「躺着等大模型下一次惊天升级」的时代可能暂时告一段落了。如果预训练的边际收益见顶，大家就不必指望下个月突然冒出一个全知全能的超级模型来包办一切。眼下更现实的做法，是把现有的模型用好，靠工作流和具体业务逻辑去补齐能力的短板。

对整个行业而言，这说明单纯靠暴力堆叠数据和算力的 Scaling Law 正在遭遇物理极限。如果高质量文本被开采殆尽，巨头们就不得不把竞争转移到合成数据、强化学习和更聪明的后训练方法上。

我们认为，巨头们集体遇冷反倒给狂热的 AI 投资降了降温。此前市场被一种乐观情绪绑架，以为砸钱就能无限逼近 AGI，但 Orion 和 Gemini 的挫折证明，AI 研发同样受制于现实规律。如果每次微小提升的代价都是指数级飙升的算力成本和版权诉讼，这种商业模式在盈利之前，迟早要面临残酷的挤泡沫过程。