元OpenAIのIlya Sutskever氏が警鐘：「データは頭打ち、事前学習の時代は終わる」

OpenAIを離れ、Safe Superintelligence Inc.を立ち上げて以来、沈黙を守ってきたIlya Sutskever氏が、バンクーバーで開催されたNeurIPSの壇上に立ちました。

同氏が研究者たちに向けて放ったのは、大規模言語モデル開発の前提を揺るがす警告でした。データはすでにピークに達しており、従来の事前学習は間違いなく終わりを迎えるというものです。

インターネットは一つしかない

これまでの生成AIは、Web上の膨大なテキストや書籍データを力任せに学習させる事前学習によって進化してきました。

しかしSutskever氏は、ネット上の人間が作ったデータは化石燃料と同じ有限な資源だと指摘します。インターネットは一つしかなく、モデルに食わせるための新しいデータはもはや枯渇しつつあります。

同氏は進化生物学の例を挙げ、現状を説明しました。大半の哺乳類は脳と体重の比率が一定の法則に従いますが、人類の祖先はその規則から外れ、まったく異なる急峻な傾きを示しました。

AIも同様に、Webデータをかき集める従来のスケール則の限界を超え、人類の脳のような新たなスケール手法を見つけ出す段階に来ていると説きます。

限られたデータから思考するAIへ

Sutskever氏が考える次の軸は、推論能力と真のエージェント化です。

現在のモデルは過去に見たパターンの再現が大半ですが、次世代のシステムは思考するようにステップを踏んで問題を解くようになります。大量のテキストを詰め込まなくても、限られたデータから混乱せずに本質を理解できるようになると同氏は予測します。

ただし、そこには代償も伴います。システムの推論が深まるほど、その挙動は人間に予測できなくなる点です。

Sutskever氏はこれを、チェスの最高峰AIがプロ棋士にとっても不可解な手を打つ現象に例えました。質疑応答でAIの権利や共存について問われると、将来は極めて予測不能としつつも、AIが人間と共存し権利を求める程度で済むなら悪い結末ではないかもしれないと答えました。

なぜ重要か

スケール則を牽引してきた立役者自身が、従来の事前学習の終焉を宣言した意味は非常に重いです。

これまで業界は、計算資源とWebデータの量で競い合ってきました。しかしデータ枯渇が現実であるなら、先行する大手テック企業が持つデータの堀は急速に価値を失います。競争の主戦場は、推論時計算や強化学習、いわゆる事後学習の巧拙へと完全にシフトすることになります。

ユーザーや開発者にとっても、これは歓迎すべき変化と言えます。膨大な独自データを持たないスタートアップでも、推論に優れたモデルを活用して高度なエージェントを構築できる道が開けるからです。

一方で、私たちが注意すべきは予測不能性のリスクです。モデルが自律的に推論して結論を導くようになれば、その思考プロセスは人間にとって完全なブラックボックスになります。制御可能性をどう担保するかという問題は、データの確保以上に困難な壁になりそうです。