OpenDreamer：マインクラフトの世界を生成・操作できるオープンソース世界モデル

OpenDreamerは、Googleの非公開世界モデル「Dreamer 4」をオープンソースで忠実に再現した、マインクラフト向けの世界生成モデルです。ゲームエンジンを使わず、純粋なニューラルネットワークによる動画生成だけで、プレイヤーのキー入力に応じたリアルタイムな操作画面を生み出します。

内部には事前にプログラミングされた物理法則やゲームロジックは一切存在しません。AIエージェントの操作入力を条件とする動画生成モデルとして動作し、WASDキーを押すと、モデルが入力に応じてキャラクターが動き回る環境映像をその場で予測・生成し続けます。

どのように実現したか

3D環境の対話型世界モデルを一から学習させるのは、計算コストの面でもデバッグの面でも極めて過酷です。Reactorの支援を受けた開発チームは、いきなりマインクラフトに挑むのではなく、まずシンプルな2Dゲーム「CoinRun」で検証する賢いアプローチを採りました。

CoinRunであれば、単一のGPUだけで学習パイプライン全体を高速に回して動作確認できます。ここでアーキテクチャの妥当性とバグ出しを徹底的に済ませたうえで、3Dマインクラフト規模へと安全にスケールアップさせました。

モデルの骨格にはブロック因果トランスフォーマーを採用しています。単一フレーム内の情報を扱う空間レイヤーと、フレーム間の時間的連続性を担保する因果時間レイヤーを分けた構造です。

また、学習が不安定になりがちな従来のVAEを避け、約100倍の圧縮率を持つトランスフォーマーベースのマスクドオートエンコーダ（MAE）を開発しました。敵対的損失やKLダイバージェンスが不要になり、安定した潜在表現を素早く学習できます。

ダイナミクスモデルには、拡散フォーシング（diffusion forcing）とフローマッチング、ショートカットモデルを導入しました。直前の行動、状態、ポリシーを同一のタイムステップブロックに統合することで、環境の遷移予測とエージェントの次の行動予測を並列に処理しています。

試し方と動かし方

手軽に触ってみたい場合、Reactorランタイム上で稼働するブラウザデモが用意されています。ローカルに環境を構築することなく、キーボード操作で画面がどう反応するかを直接体験できます。

自分で環境を構築したい開発者向けには、GitHub上で推論コード、学習パイプライン、データセット、そして開発中に成功した手法・失敗した手法の分析レポートがすべて公開されています。

なぜ重要か

具身AIやシミュレーション環境を研究する開発者にとって、非公開だったDreamer 4の完全な実装とノウハウが手に入る価値は絶大です。巨大テック企業が成果だけを誇示しがちな分野で、失敗したアプローチまで含めて知見をフルオープンにした点は非常に誠実です。

単一GPUで検証可能な2D環境から段階的に拡張していく開発手法は、潤沢な計算資源を持たない研究室やインディー開発者にとっても強力な指針になります。生成される映像にはまだ不自然さも残りますが、コードと重みが手元にあるからこそ、コミュニティ主導で改良を進められる頼もしい土台と言えます。