下一代大模型撞牆：高質量資料告急，OpenAI 與 Google 進展受阻

以前大家總覺得，只要不斷往大模型裡堆算力和網頁資料，AI 就會像變魔術一樣越來越聰明。

但現在，連跑在最前面的幾家巨頭自己都發現，這條路似乎快要撞牆了。

據彭博社等媒體報道，OpenAI、Google 和 Anthropic 在研發下一代前沿大模型時，集體遭遇了進展放緩和邊際收益遞減的難題。最核心的死結非常現實：網上能抓到的高質量公開資料，快被它們吃光了。

Orion 沒帶來 GPT-4 那樣的躍升

以 OpenAI 為例，內部代號為 Orion 的新旗艦模型在 9 月完成了初步訓練。OpenAI 原本寄希望於它能大幅超越先前的版本，甚至可能放棄像 GPT-5 這樣按部就班的數字命名。

但知情人士透露，Orion 的實際表現並沒有達到預期目標。在夏天晚些時候的測試中，面對訓練集之外的程式設計難題，它頻頻碰壁。

大家普遍的感覺是，Orion 相比現有模型的提升幅度，根本比不上當年從 GPT-3.5 跨越到 GPT-4 時帶來的那種驚豔感。

類似的心煩事也落在了對手頭上。據報道，Google 最新的 Gemini 模型同樣沒有達到內部設定的效能指標；而 Anthropic 遲遲沒有推出備受期待的 Claude 3.5 Opus，背後的推遲也被認為碰到了類似的瓶頸。

資料吃光了，錢也快燒不起了

技術上撞牆，說白了是因為餵給大模型的「飼料」不夠用了。過去幾年，ChatGPT 們幾乎吞下了整個公開網際網路的內容，但現在新鮮、優質的資料極度匱乏。

與此同時，版權方和創作者開始築起高牆。未經許可抓取內容的做法引發了大量訴訟，Sam Altman 自己都承認，不用受版權保護的材料幾乎不可能做出這種模型。雖然 OpenAI 最近在針對 Raw Story 和 AlterNet 的訴訟中暫時勝訴，但版權摩擦依然是個長期的炸藥包。

更要命的是賬單。OpenAI 在靠微軟、輝達等投資者拿到 66 億美元融資之前，曾預計面臨高達 50 億美元的虧損。雖然公司估值被推到了 1570 億美元，但分析師預計虧損還會持續，甚至要到 2029 年才可能盈利。

OpenAI 必須在規定期限內轉為營利性實體，否則就要退還投資者的錢。在商業化重壓下，如果繼續砸下數十億美元搞基礎設施，卻換不來智慧上的質變，資方很難一直保持耐心。

為什麼重要

對於每天用 ChatGPT 寫程式碼、寫報告的普通人和開發者來說，這意味著「躺著等大模型下一次驚天升級」的時代可能暫時告一段落了。如果預訓練的邊際收益見頂，大家就不必指望下個月突然冒出一個全知全能的超級模型來包辦一切。眼下更現實的做法，是把現有的模型用好，靠工作流和具體業務邏輯去補齊能力的短板。

對整個行業而言，這說明單純靠暴力堆疊資料和算力的 Scaling Law 正在遭遇物理極限。如果高質量文本被開採殆盡，巨頭們就不得不把競爭轉移到合成數據、強化學習和更聰明的後訓練方法上。

我們認為，巨頭們集體遇冷反倒給狂熱的 AI 投資降了降溫。此前市場被一種樂觀情緒綁架，以為砸錢就能無限逼近 AGI，但 Orion 和 Gemini 的挫折證明，AI 研發同樣受制於現實規律。如果每次微小提升的代價都是指數級飆升的算力成本和版權訴訟，這種商業模式在盈利之前，遲早要面臨殘酷的擠泡沫過程。