実在の街を再現する「ソウル世界モデル」登場　ストリートビューのRAGで長距離生成

従来の動画世界モデルは、基本的にAIの想像力だけに頼って仮想空間を描き出してきました。そのため、カメラを少し前進させるだけで建物の輪郭が崩れ、数秒後にはつじつまが合わなくなるのが常でした。

3月17日に公開された研究「Seoul World Model（SWM）」は、このアプローチを根本から見直しました。都市を一から妄想させるのではなく、実在する韓国ソウルの街並みに動画生成を接地させ、数キロメートルに及ぶ安定した街歩き動画を破綻なく生成できるようにしたのです。

ストリートビューをRAGの知識ベースにする

SWMの核となる技術は、動画生成における検索拡張生成（RAG）です。地理座標やカメラの移動指示、テキストプロンプトが入力されると、位置情報付きのデータベースから周囲のストリートビュー画像を検索し、それを参照フレームとして生成プロセスに組み込みます。

参照情報は2つの経路で活用されます。1つは深度情報を基に最近傍の画像を目標視点へ射影して街の骨組みを伝える幾何学的参照、もう1つは看板や建物のディテールをTransformerに直接注入する意味的参照です。

しかし、別々の時期に撮影されたストリートビューには車輪や通行人などの動的オブジェクトが写り込んでおり、そのまま使うと画面に半透明の車が残像のように現れてしまいます。

そこで研究チームは、参照画像と正解動画をあえて異なる時間帯で撮影されたデータ同士でペアリングする手法を取り入れました。これにより、モデルは一時的な通行車両を無視し、恒久的な建造物の配置だけを学習するようになります。また、車両からの撮影データの隙間を補うため、CARLAシミュレーターを用いて歩道や自由視点を含む1万本の合成動画を作成し、カメラ操作の自由度を高めました。

「未来のアンカー」で長距離の崩壊を防ぐ

自帰的な動画生成では、時間が経つほど誤差が蓄積していきます。既存モデルは最初のフレームに静的なアンカーを置く手法が主流でしたが、カメラが進むにつれて開始地点の情報は役に立たなくなり、やがて映像が崩壊していました。

SWMはこの問題に対し、仮想先読みシンク（Virtual Lookahead Sink）という仕組みを導入しました。次の動画ブロックを生成する際、少し先の移動予定地点にあるストリートビューを動的に取得し、未来のアンカーとして配置します。

常に前方に現実の標識を立て続けながら進むような設計にしたことで、生成のブレを現実の座標へと引き戻し続けることが可能になりました。ソウル、釜山、アナーバーの3都市での検証では、数百メートルから数キロにわたる長距離移動でも高画質が維持されています。さらにテキストプロンプトを加えれば、実在のソウルの街に巨大な津波を起こしたり、ゴジラを呼び出したりといった演出も可能です。

なぜ重要か

私たちがこの研究で最も優れていると考えるのは、世界モデルにすべてを妄想させるのをやめ、言語モデルでおなじみのRAGという極めて実用的な手法を動画に応用した点です。

自動運転やロボティクスの開発現場にとって、実在の都市環境を高精度にシミュレーションするコストは常に課題でした。Unreal Engineなどで都市を丸ごと手作業で3Dモデリングする代わりに、既存のストリートビューを活用して現実準拠の仮想世界を自動生成できるなら、検証環境の構築コストは劇的に下がります。

もちろん制約もあります。現状では建物の内部に入ることはできませんし、最新のストリートビューが十分に揃っていないエリアでは品質を担保できません。

それでも、実在都市のデータをアンカーにして数キロメートル破綻せずに歩き続けられるという事実は、地球全体のデジタルツイン構築に向けた非常に現実的で大きな一歩だと評価できます。