本文へスキップ
IFAI

オープンソース

長尺AI動画の背景崩れを防ぐオープンソース「Any Time, Any Space」登場

公開 拡散指数 48

AI長尺動画の一貫性を保つオープンソースフレームワーク「Any Time, Any Space」が公開された。シーンを3D再構築して記憶に保持することで、カメラが戻っても元の部屋を忠実に再現する。Wanなど複数の動画生成モデルに対応し、ローカル環境で動作する。

長尺AI動画の背景崩れを防ぐオープンソース「Any Time, Any Space」登場
画像:arxiv.org

Any Time, Any Space(ATAS)は、AI長尺動画の生成で最大の課題となっていたシーンの一貫性崩れを解消するオープンソースフレームワークだ。

従来の動画モデルでは、登場人物が一度部屋を出て別の場所を映し、再び元の部屋に戻ってくると家具の配置や間取りが変わってしまうことが日常茶飯事だった。ATASはこの空間の破綻を防ぎ、何度カメラが戻っても同一の環境を維持する。

空間を記憶する仕組み

従来の長尺生成は、プロンプトの受け渡しや直前フレームの参照に頼っており、離れたカット間で共有できる3D空間の基準を持っていなかった。

ATASは脚本を分解し、明確な位置情報やカメラ視点、時間情報を含むカット単位のリクエストを生成する。映像を生成する前に、登録済みの静的3Dジオメトリと時間軸で整理された動的イベント記憶から関連データを引き出し、空間の整合性を担保する。

生成されたカットは自動で3D再構築と位置合わせが行われる。整合性の検査に合格した観測結果のみが記憶に書き込まれるため、モデルのハルシネーションが空間記憶を汚染することもない。

既存モデルとの互換性と公開状況

ATASは単体の生成モデルではなく、既存の動画生成基盤にアドオンとして組み込める制御フレームワークだ。

論文ではAlibabaのWanやMiniMax H3を含む4種類の動画生成モデルで検証が行われ、すべてのモデルにおいてカット間の一貫性指標を向上させ、総合スコアで最高値を記録した。

目標画像の空間再訪テストでは既存のエージェントや従来の3D誘導手法を上回り、人間による6項目の評価でもすべて最高得点を獲得している。

現在、コードリポジトリとプロジェクトページが公開されており、ローカル環境へのダウンロードとセットアップ手順が詳しく案内されている。

なぜ重要か

AI動画でストーリー作品を作ろうとするクリエイターにとって、カットの切り返しや同室への再訪で発生する背景の破綻は最大のボトルネックだった。ATASは、動画モデル自体を一から再学習させることなく、外部の3D空間記憶を持たせるだけで空間の安定性を劇的に高められることを証明している。

本格的な映像制作を試みたい開発者やクリエイターは、今すぐ手元で動かしてみる価値がある。カットごとに3D再構築と状態検査を挟むため処理時間とマシン要求は増えるが、当てずっぽうの再生成を繰り返すストレスに比べれば極めて現実的な解決策と言える。

情報源 (1)

  1. [1]

毎日のAIピックアップ