Pantheon360登場：3Dキャッシュで歪みのない360度パノラマ動画を生成

VRヘッドセットを装着してAI生成動画を体験したことがある人なら、少し視線を動かしただけで壁が歪んだり、さっきまであった家具がふわりと浮遊してしまう違和感を味わったことがあるはずです。

従来のAI動画生成モデルは、ストローを覗き込むような狭い画角で世界を捉えています。そのため、視点を大きく動かすと前後のつじつまが合わなくなり、映像が時間とともに歪んでしまう問題が避けられませんでした。5月25日、研究チームがarXivで発表した「Pantheon360」は、動画生成を最初から360度の球体として扱うことで、この根本的な課題に挑んでいます。

狭い画面を捨て、全方位パノラマから捉える

従来の透視投影モデルでデジタルツインを構築しようとすると、画角の狭さゆえに長いカメラ移動や複数の視点を無理につなぎ合わせる必要がありました。その結果、視点間の不整合や時間の経過に伴うドリフトが増幅されてしまいます。

Pantheon360のアプローチは明快です。空間全体をカバーする360度パノラマ映像を入力とすることで、視点移動の設計を単純化し、シーン全体の整合性を保つための強力なコンテキストを最初から確保します。

研究チームは、まばらな360度パノラマ画像からでも、ユーザーが指定したカメラ経路に沿って高精細な全方位動画を生成できるフレームワークを構築しました。

幾何学は3Dキャッシュに任せ、AIは質感に専念する

Pantheon360の鍵となる仕組みが、入力データから再構成される明示的な「3Dキャッシュ」です。

これは言わば、空間全体の骨組みとなる足場です。ユーザーがどのようなカメラワークを指定しても、この3Dキャッシュが三次元空間の幾何学的な整合性を担保します。

空間の構造が足場によって固定されているため、拡散モデルは複雑な立体計算に頭を悩ませる必要がありません。光の反射や細部のディテールといった質感表現だけに集中できます。実験結果でも、視覚的な美しさと幾何学的な破綻の少なさにおいて、従来手法を大きく上回る安定性を示しました。

なぜ重要か

Pantheon360のアプローチが賢いのは、高精度な3D復元技術と表現力豊かな動画拡散モデルの長所を無理なく切り分けた点にあります。

3Dガウススプラッティングなどは形状の保持に優れるもののリッチな質感表現には限界があり、逆に動画拡散モデルは圧倒的な描画力を持つ一方で空間がぐにゃりと崩れがちでした。Pantheon360のように「明示的な幾何構造」と「質感の生成」を分担させる構成は、空間動画生成における極めて現実的で賢い解決策だと考えられます。

VRコンテンツの制作者やシミュレーション環境を構築するエンジニアにとって、少数のパノラマ素材から破綻のない空間映像を作り出せるメリットは絶大です。高価な多眼カメラシステムを使わずに、没入感のあるシーンを手軽に自動生成できる道が開けます。

現時点では論文発表の段階であり、激しく動く動体の扱いや計算負荷の最適化といった課題は残されています。それでも、AI動画が四角い画面の枠を飛び出し、真の三次元空間へと拡張していく上で、注目すべきマイルストーンになるはずです。