世界モデル内で学ぶAI「Dreamer 4」：実環境と対話せず「マイクラ」でダイヤ採掘に成功

AIを実世界やゲームの中で試行錯誤させながら学習させるのは、時間もコストも膨大にかかります。特にロボット実機の場合、無茶な探索をさせれば機材が壊れ、実験はその場でストップしてしまいます。

そこで注目されているのが、AIの「頭の中」に世界をシミュレートさせ、想像の中だけで訓練を完結させる世界モデルのアプローチです。Danijar Hafner氏とWilson Yan氏らが率いる研究チームは、この仕組みを大きく進化させた「Dreamer 4」を発表しました。

ゲーム環境と一切リアルタイムに対話せず、過去のオフラインデータのみをもとに、Minecraft（マインクラフト）でダイヤモンドを採掘することに初めて成功したAIです。

単一GPUで動くリアルタイムな世界モデル

従来の世界モデルは、複雑な環境においてオブジェクト同士の細かな相互作用を正確に予測できず、行動学習に使うには限界がありました。

Dreamer 4はこの壁を突破しました。マインクラフトのような自由度の高いオープンワールドでも、物体の接触や複雑なゲームメカニクスを高精度に予測し、過去の世界モデルを大きく上回る性能を示しています。

技術面では、shortcut forcingと呼ばれる学習手法と高効率なTransformerアーキテクチャを採用。これにより、高精度な世界モデルのインタラクティブな推論を、わずか1枚のGPU上でリアルタイムに動かすことに成功しました。

巨大な計算クラスタを占有することなく、AI自身が頭の中で高速に無数の行動をシミュレーションできる環境が整ったわけです。

「想像」だけで2万回以上の操作を完遂

マインクラフトでダイヤモンドを手に入れるタスクは、強化学習における代表的な超長寿プランニング課題として知られています。

木を伐採して作業台を作り、ツルハシを作って石や鉄を掘り、道具をアップグレードしながら地下深くに潜って溶岩を避ける必要があります。生のピクセル映像を見ながら、2万回を超えるキーボードとマウスの操作を正確に繋ぎ止めなければなりません。

従来のAIはゲーム環境と何百万回も対話して試行錯誤を繰り返すのが一般的でした。しかしDreamer 4は、環境との直接対話を一切行わない純粋なオフラインデータのみで学習しています。

大量のラベルなし動画から世界の一般的なルールを学び、少量のデータだけで操作と結果の関係を把握。残りの強化学習はすべて脳内の世界モデルで行い、見事にダイヤモンド採掘を達成しました。

なぜ重要か

今回の成果の真価は、ゲームの攻略そのものではなく、ロボティクスや身体性AI（Embodied AI）が抱える最大のボトルネックを解消する点にあります。

実世界でロボットを学習させる際、実機での試行錯誤は危険かつ遅すぎます。しかし、インターネット上の受動的な動画データから高精度な世界モデルを構築し、AIに「想像の中」で何万時間分もの訓練を積ませることができれば、学習コストと安全性の問題は一気に解決に向かいます。

Dreamer 4の優れた点は、少量の行動ラベルと大量の未ラベル動画を組み合わせ、単一GPUでリアルタイムに動く世界モデルを成立させたことです。2万ステップを超える長大なシーケンスを純粋なオフライン学習で解けることを証明した意義は小さくありません。

もちろん、コードで規定されたゲームの物理法則と、ノイズだらけの実世界の物理現象とでは大きな隔たりがあります。実世界のロボットへそのまま転用できるかどうかは検証が必要ですが、オフライン世界モデルの可能性を一段階押し上げたことは間違いありません。