ByteDanceが「DMAD」公開:動画生成をわずか4ステップに短縮
ByteDanceが高速画像・動画生成手法「DMAD」を発表した。対抗蒸留と分布マッチングを用い、通常20〜30ステップを要するMiniMax-H3などの拡散モデルをわずか4ステップに圧縮。高品質な映像を極めて短時間で生成可能にする。
ByteDanceが高速画像・動画生成手法「DMAD」を発表した。対抗蒸留と分布マッチングを用い、通常20〜30ステップを要するMiniMax-H3などの拡散モデルをわずか4ステップに圧縮。高品質な映像を極めて短時間で生成可能にする。
研究チームが3Dレンダリングの不具合を修復するAI「FixAnything」をオープンソース公開した。3DGSやNeRFの視点変更で生じる穴や浮遊ノイズを、動画拡散モデルの先見性を活かして補正し、整合性の取れた滑らかな動画を生成する。
トロント大学の研究チームは2D動画の1ピクセルをクリックするだけで物体の6自由度(6-DoF)の3次元位置・姿勢を追跡する「ProxyPose」を発表した。動画モデルを用いて対象をカラー立方体に変換し幾何学的に姿勢を算出することで、透明や反射、遮蔽のある困難な物体でも高精度に追跡できる。
研究チームが動画の再照明フレームワーク「Relit-LiVE」を発表しました。カメラの事前姿勢データを使わずに、照明変更後のフレームと視点に応じた環境マップを同時に生成。長尺動画でも影や反射の物理的整合性を保ち、素材置換や影消し編集にも対応します。
マイクロソフトは動画生成フレームワーク「World-R1」を発表しました。Wan2.1をベースに強化学習を活用し、基本モデルの構造を変えずに3D整合性を付与。視覚的クオリティを保ったまま空間的な破綻を防ぎます。
Wan 2.1をベースにした動画転送フレームワーク「OmniTransfer」が登場した。ポーズ抽出やカメラ軌道の事前推定を行わずに、参照動画から視覚効果やキャラクターの動き、カメラワーク、スタイルを単一の仕組みで別画像へ高精度に移植できる。
Tencentなどの研究チームが、4D幾何コントロールを備えた動画生成モデル「VerseCrafter」を発表しました。1枚の静止画から3D表現を構築し、Blender上で指定したカメラワークや物体の移動軌跡に沿って一貫性のある動画をWan2.1ベースで生成します。
アリババが14Bパラメータの動画生成モデル「Wan2.1-FLF2V」をオープンソース公開した。ユーザーが指定した最初と最後のフレームから滑らかな移行動画を生成し、一貫した画風と自然な動きを保つ。公式サイトで5秒・720pの動画を無料で生成できるほか、Hugging FaceやGitHubでも重みが公開されている。
Kreaは動画生成モデル「Wan 2.1」をユーザー自身の動画で追加学習できる「Video Training」を発表した。独自のビジュアルスタイルや特定の動作、被写体を学習させることで、AI動画生成の制御性を向上させられる。
アリババの通義実験室が動画生成モデル「Wan2.1」をオープンソース公開した。14B版は主要ベンチマークでSoraを上回り、生成速度も2.5倍に高速化。中英2言語の文字描画に対応し、1.3B版ならRTX 4090などの民生用GPUでも動作する。