Domain Shuttle:参照画像の一貫性を保つ動画生成ツール、異種スタイルの混在にも対応
香港科技大学の研究チームは参照画像の一貫性を保ったまま動画を生成できる「Domain Shuttle」をオープンソースで公開した。実写、2D アニメ、3D キャラなど異なる画風の被写体を同一シーンで破綻なく合成できる。Wan 2.2 を基盤とし、GitHub でコードと 35GB のモデルが提供されている。
香港科技大学の研究チームは参照画像の一貫性を保ったまま動画を生成できる「Domain Shuttle」をオープンソースで公開した。実写、2D アニメ、3D キャラなど異なる画風の被写体を同一シーンで破綻なく合成できる。Wan 2.2 を基盤とし、GitHub でコードと 35GB のモデルが提供されている。
Wan2.2をベースにしたFPS向けオープンソース世界モデル「SCOPE」が公開された。移動や射撃など10自由度の操作をフレーム単位で反映し、未知のゲーム背景でもゼロショットで映像を生成できる。モデルの重み、推論コード、データセットがGitHubで提供されている。
ゲーム世界モデルReactiveGWMが公開された。プレイヤーのキー操作とNPCの行動方針を分離し、プロンプトで相手の攻守戦略を制御できる。Wan 2.2をベースにしており、中上位GPUでローカル実行が可能だ。
研究チームがAI生成動画から一貫した3D空間を復元する新手法「World Reconstruction from Inconsistent Views」を発表した。動画特有のフレーム間の歪みや矛盾を非剛体位置合わせで補正し、1本の動画からでも精細な3Dシーンを生成できる。既存の動画生成モデルをそのまま実用的な3D空間構築ツールに変えられる点が画期的だ。
robbyant がリアルタイム世界シミュレータ「LingBot-World」のコードとモデルを公開した。Wan2.2 をベースに、テキストや画像から 16 FPS・1 秒未満の遅延で 480P/720P の操作可能環境を生成し、分単位の長期記憶も維持する。閉鎖的モデルに対する有力なオープン代替となる。
Higgsfield AIはオープンソースモデル「WAN 2.2」の提供を開始した。動画と画像の両方に対応し、30種類以上のプリセットを備えることで、ワンクリックでの素早いレンダリングを可能にしている。