Ilya Sutskever 现身 NeurIPS：数据已见顶，传统预训练必将终结

离开 OpenAI 创办新公司后，Ilya Sutskever 几乎从公众视野里消失了。但在温哥华举行的 NeurIPS 大会上，这位前 OpenAI 首席科学家重新站上讲台，给全行业兜头浇了一盆冷水。

他的核心判断很直接：我们已经达到了数据顶峰，以后不会再有更多新数据了。换句话说，过去几年驱动整个大模型浪潮的传统预训练模式，毫无疑问即将走到尽头。

互联网只有一张，油田快见底了

所谓预训练，就是让模型从海量未标记的网页、书籍等文本里硬啃规律。过去行业坚信只要数据源源不断，模型就会越来越聪明。

但 Ilya 认为，人类在互联网上写下的内容是有限的，就像地底下的化石燃料一样。互联网只有这么一张，能抓的数据几乎已经被抓光了。

既然油快抽干了，接下来该怎么走。Ilya 并没有否定现有数据的潜力，但他强调行业必须换一种思路，不再单纯依赖堆砌新数据。

他借用了演化生物学里的一个现象。在自然界里，大多数哺乳动物的大脑与身体质量比例都遵循同一条规律，但人类祖先的大脑在演化中突然打破了这条线，走出了一条陡峭得多的全新斜率。

在 Ilya 看来，大模型的扩张也是同理。传统的预训练或许到了天花板，但 AI 正在寻找自己的第二条增长曲线。

下一代模型不会再被灌懵

那新的增长点在哪。Ilya 给出的答案是推理与真正的智能体化。

现在的语言模型本质上还在做模式匹配，全靠以前见过类似的话来往下接。而具备推理能力的下一代模型，会像人类思考一样一步一步推导问题。

更关键的是，这类系统将能从极其有限的数据中真正理解事物，并且不会被搞糊涂。

但随之而来的代价是不可预测性。Ilya 提醒在场的研究者，模型推理能力越强，它的行为就越难以预判。这就像顶尖的国际象棋 AI，走出来的每一步在人类特级大师看来都是无法捉摸的。

在提问环节，有人问起未来是否应该给予 AI 某种自由，甚至开玩笑提到了加密货币。Ilya 坦言这类问题需要自上而下的政府治理架构，自己无法给出确切答案。但他半开玩笑地补充，如果未来的高级 AI 只是想和人类共存并拥有一点权利，从某种角度看，或许也不是个坏结局。

为什么重要

这是大模型 Scaling Law 核心推动者亲口宣告旧玩法的终结。

从行业竞争来看，过去两年硅谷拼的是谁钱多、谁算力大、谁能买下更多版权数据。但如果预训练的数据红利已经吃尽，大厂的先发壁垒就会被削弱。竞争的重心必须转向后训练、强化学习以及让模型自主推导的思考链机制。OpenAI 之前试水的 o1，走的大概就是这条路子。

对开发者和应用层创业者来说，这也算是个利好信号。你不用再焦虑自己的算力和数据比不过巨头，未来的差距更可能体现在具体场景里的推理链路设计和任务执行调度上。

不过，我们认为 Ilya 抛出的隐患也相当刺眼。当模型不再靠死记硬背、而是靠复杂推理来解决问题时，它的思考路径对人类来说几乎就是个黑盒。如果连创造它的人都摸不透它下一步要干什么，如何保证它的安全性，恐怕是比找数据更头疼的难题。