Ilya Sutskever 現身 NeurIPS：資料已見頂，傳統預訓練必將終結

離開 OpenAI 創辦新公司後，Ilya Sutskever 幾乎從公眾視野裡消失了。但在溫哥華舉行的 NeurIPS 大會上，這位前 OpenAI 首席科學家重新站上講臺，給全行業兜頭澆了一盆冷水。

他的核心判斷很直接：我們已經達到了資料頂峰，以後不會再有更多新資料了。換句話說，過去幾年驅動整個大模型浪潮的傳統預訓練模式，毫無疑問即將走到盡頭。

網際網路只有一張，油田快見底了

所謂預訓練，就是讓模型從海量未標記的網頁、書籍等文本里硬啃規律。過去行業堅信只要資料來源源不斷，模型就會越來越聰明。

但 Ilya 認為，人類在網際網路上寫下的內容是有限的，就像地底下的化石燃料一樣。網際網路只有這麼一張，能抓的資料幾乎已經被抓光了。

既然油快抽乾了，接下來該怎麼走。Ilya 並沒有否定現有資料的潛力，但他強調行業必須換一種思路，不再單純依賴堆砌新資料。

他借用了演化生物學裡的一個現象。在自然界裡，大多數哺乳動物的大腦與身體質量比例都遵循同一條規律，但人類祖先的大腦在演化中突然打破了這條線，走出了一條陡峭得多的全新斜率。

在 Ilya 看來，大模型的擴張也是同理。傳統的預訓練或許到了天花板，但 AI 正在尋找自己的第二條增長曲線。

下一代模型不會再被灌懵

那新的增長點在哪。Ilya 給出的答案是推理與真正的智慧體化。

現在的語言模型本質上還在做模式匹配，全靠以前見過類似的話來往下接。而具備推理能力的下一代模型，會像人類思考一樣一步一步推導問題。

更關鍵的是，這類系統將能從極其有限的資料中真正理解事物，並且不會被搞糊塗。

但隨之而來的代價是不可預測性。Ilya 提醒在場的研究者，模型推理能力越強，它的行為就越難以預判。這就像頂尖的國際象棋 AI，走出來的每一步在人類特級大師看來都是無法捉摸的。

在提問環節，有人問起未來是否應該給予 AI 某種自由，甚至開玩笑提到了加密貨幣。Ilya 坦言這類問題需要自上而下的政府治理架構，自己無法給出確切答案。但他半開玩笑地補充，如果未來的高階 AI 只是想和人類共存並擁有一點權利，從某種角度看，或許也不是個壞結局。

為什麼重要

這是大模型 Scaling Law 核心推動者親口宣告舊玩法的終結。

從行業競爭來看，過去兩年矽谷拼的是誰錢多、誰算力大、誰能買下更多版權資料。但如果預訓練的資料紅利已經吃盡，大廠的先發壁壘就會被削弱。競爭的重心必須轉向後訓練、強化學習以及讓模型自主推導的思考鏈機制。OpenAI 之前試水的 o1，走的大概就是這條路子。

對開發者和應用層創業者來說，這也算是個利好訊號。你不用再焦慮自己的算力和資料比不過巨頭，未來的差距更可能體現在具體場景裡的推理鏈路設計和任務執行排程上。

不過，我們認為 Ilya 丟擲的隱患也相當刺眼。當模型不再靠死記硬背、而是靠複雜推理來解決問題時，它的思考路徑對人類來說幾乎就是個黑盒。如果連創造它的人都摸不透它下一步要幹什麼，如何保證它的安全性，恐怕是比找資料更頭疼的難題。