「Generative World Renderer」登場：テキスト指示だけでAAAゲームの画風や照明を変更

『黒神話：悟空』の重厚な寺院風景をサイバーパンク風のネオン街へ作り替えようとすれば、従来は3Dモデルの再構築やテクスチャの張り替えに膨大な時間を費やす必要がありました。

研究チームが公開した新アプローチは、その手間を過去のものにする可能性を秘めています。

研究チームは「Generative World Renderer」を発表しました。『黒神話：悟空』や『サイバーパンク2077』といったAAAゲームから400万フレームものグラフィックデータを抽出。テキスト指示を入力するだけで、天候や材質、照明環境を自在にリスタイルできる仕組みを構築しました。

ゲームエンジンから抽出した400万フレームのG-buffer

従来の動画生成AIで映像の画風を変えようとすると、カメラの移動に伴って柱が歪んだり、チラつきが発生したりする弱点がありました。AIがピクセルだけを見て、空間構造を把握していないためです。

そこで研究チームは2画面結合キャプチャ方式を考案。RGB映像と5種類のG-bufferチャンネルが同期した連続400万フレーム（720p／30 FPS）の大規模データセットをゲームから直接収集しました。

G-bufferとは、ゲームエンジン内部で深度、法線、アルベド（固有色）、粗さ、金属度などを記録しているバッファデータです。

物体の正確な形状や向きのデータをAIに直接渡すことで、テキストでどんなにスタイルを変えても、背景の構造や立体感が崩れない安定した映像生成が可能になります。

テキストで天候を変え、照明を再構築する

このシステムは順方向と逆方向の2つのレンダリングに対応しています。

順方向レンダラーでは、抽出したG-bufferに対してテキストを入力するだけで、豊かな自然環境を一瞬で砂漠地帯に変貌させたり、霧や炎の粉塵、蛍の光を違和感なく追加したりできます。

逆方向レンダラーでは、複雑な光の反射を取り除いて純粋なアルベドや材質特性を推定します。これを利用して環境マップを適用し直すことで、空やオブジェクト全体の光源を自然に再照明できます。

さらにチームは、正解データが存在しない実環境評価のためにVLMを活用した評価プロトコルを提案。人間の評価基準と高い相関で一貫性を測定できるようにしました。

なぜ重要か

私たちは、純粋なピクセル生成の壁をゲームエンジンの内部構造と組み合わせることで賢く突破した点に大きな価値があると考えています。

インディー開発者やMod制作者、コンセプトアーティストにとって、世界観のプロトタイプ検証コストは劇的に下がります。エンジン内でライティングやシェーダーを再構築することなく、テキスト数行で別スタイルの絵作りを試せるようになります。

業界全体にとっても、動画生成AIのチラつき問題を解消する鍵が、G-bufferというグラフィックスパイプラインの標準規格にあることを実証した意味は大きいです。

現状は720p解像度のオフライン処理にとどまり、ゲーム内でのリアルタイム動作にはまだ距離があります。それでも、古典的3Dグラフィックスと生成AIを架橋するアプローチとして極めて筋が良い取り組みです。