動画版ControlNet「CogOmniControl」発表 数フレームのラフ画から映像を精密制御
複数入力で動画生成を制御するフレームワーク「CogOmniControl」の論文が公開された。わずか3フレームのラフスケッチや骨格アニメ、参照画像と指示文を組み合わせ、意図通りの動画を生成できる。制作現場向けに開発されたが、現在は論文のみの公開となっている。
AI動画
新しいニュースを見る
Odyssey、世界モデル「Starchild-1」と4人同時プレイ対応の「Agora-1」を発表
Odysseyは、入力に合わせて音声と映像をリアルタイムに同期生成する世界モデル「Starchild-1」と、最大4人がAI生成世界で同時に遊べる「Agora-1」を発表した。固定長の動画生成から脱却し、状態を共有しながら操作できるインタラクティブな物理シミュレーターへの転換を示している。
MetaがWavFlowを発表：潜在空間を省き生波形から直接44.1kHz音声を生成
Metaは音声生成モデル「WavFlow」を発表しました。従来のVAEや潜在空間圧縮を省き、生波形から直接44.1kHzの高忠実度音声を生成して無声動画に同期音声を付与できます。ただし社内ポリシーにより、公開されたのは学習スクリプトのみで完全な重みは提供されていません。
ByteDance、画像と動画の理解・生成・編集をこなす統合モデル「Lance」をオープンソース公開
ByteDanceは画像と動画の理解・生成・編集を兼ね備えたネイティブ統合モデル「Lance」を公開した。アクティブパラメータ30億で対話形式の動画連続編集にも対応するが、ローカル環境での動作には40GB以上のGPUメモリが求められる。
音声と映像を同時編集する「InstructAV2AV」登場、指示文だけで人物やセリフを変更可能に
指示文に基づいて映像と音声を同時に編集できるエンドツーエンドのフレームワーク「InstructAV2AV」が発表された。マスク指定なしで人物の入れ替えやセリフの変更、音の追加や削除が可能で、背景を保ったまま音画の一貫した編集を実現する。
GPT Image 2 と Seedance 2.0 を連携：12コマ絵コンテからアニメ映像を自動生成
ChatGPT Image 2 でキャラクターやカメラワークを指定した12コマの絵コンテを作成し、Seedance 2.0 に渡して映画風の映像を生成するAI映像ワークフローが注目を集めています。ノード型ツールと組み合わせることで個人制作が一段と手軽になります。
アリババがFashionChameleon発表：動画生成中にリアルタイムで衣装を変更
アリババが動画試着フレームワーク「FashionChameleon」を発表しました。動画生成中にインタラクティブな着せ替えが可能で、単一GPU上で23.8 FPSのリアルタイム動作を実現しています。人物の動きを崩さずに衣装を切り替えられますが、コードやモデルは順次公開予定です。
「Warp-as-History」登場：たった1本の動画学習でAIのカメラワークを自在に制御
上海交通大学や上海AIラボなどの研究チームが「Warp-as-History」を発表した。新たな制御モジュールを追加せず、視点移動の変形を過去の映像履歴として扱うことで、わずか1本の動画による軽量LoRA調整だけで未知のシーンでも精度の高いカメラワーク追従を実現する。
NVIDIA、軽量世界モデル「SANA-WM」発表：単一GPUで1分間の映像を34秒生成
NVIDIAは静止画とキーボード操作から対話型映像を生成できる26億パラメータの世界モデル「SANA-WM」を発表した。単一のRTX 5090で1分間の720p映像をわずか34秒で生成可能。視点を変えても空間の一貫性が保たれ、コードとモデルは近日公開される予定だ。
ReactiveGWM公開：動画生成ゲーム世界モデルのNPCを指示文で操れるように
ゲーム世界モデルReactiveGWMが公開された。プレイヤーのキー操作とNPCの行動方針を分離し、プロンプトで相手の攻守戦略を制御できる。Wan 2.2をベースにしており、中上位GPUでローカル実行が可能だ。
ポール・ラッドら出演の実写×AI映画、カンヌ国際映画祭で上映へ
ダーレン・アロノフスキーがプロデュースし、ポール・ラッドとクリス・ロックが出演する実写とAIの融合映画が、来週のカンヌ国際映画祭でプレミア上映される。ダスティン・イェリンが監督を務め、実写映像とAI生成要素を組み合わせた。大物映画人の参加により、AIが主流の映画界へ本格進出する象徴的な動きとなる。
LTX-Video向けピクサー風LoRAが登場：3Dアニメ映画の質感を動画生成に追加
Hugging Face にてオープンソース動画モデル「LTX-Video」向けのピクサー風 LoRA が公開された。既存の版権 IP を使わずに学習されており、トリガーワード「P1x4r」を指定することで、滑らかな質感や豊かな表情、映画級のライティングを備えた 3D アニメ動画を生成できる。
AI動画の人体崩壊を防ぐ「PhyMotion」公開：物理エンジンで関節や接地を採点
AI動画生成における不自然な人体動作を改善する報酬システム「PhyMotion」のコードが公開された。動画から抽出した3D人体を物理シミュレータ「MuJoCo」で検証し、関節や接地の妥当性をスコア化することで、ヨガや武術など複雑な動きでの手足の崩れを抑える。
Google、新動画モデル「Gemini Omni」披露：対話型の動画編集に対応
Googleの新しいマルチモーダルモデル「Gemini Omni」が明らかになった。テキスト、画像、音声を組み合わせて物理法則に沿った動画を生成でき、自然言語による対話形式の動画編集にも対応する。まずは10秒生成に対応するOmni Flashから展開される。
動画再照明フレームワーク「Relit-LiVE」：カメラ追跡不要で物理的に正確な光影を維持
研究チームが動画の再照明フレームワーク「Relit-LiVE」を発表しました。カメラの事前姿勢データを使わずに、照明変更後のフレームと視点に応じた環境マップを同時に生成。長尺動画でも影や反射の物理的整合性を保ち、素材置換や影消し編集にも対応します。
ElevenLabsが「Studio Agent」公開、タイムライン編集にAIが常駐
ElevenLabsはElevenCreativeのタイムライン編集機能「Studio」にAI共同編集ツール「Studio Agent」を追加した。ナレーション、音楽、効果音、映像の編集作業を同一画面内でAIと直接進められるようになり、制作手順を大幅に短縮できる。
LTX Studioが「Flows」を発表：ノード型キャンバスで画像・動画生成を一括自動化
LTX Studio はプラットフォーム内にノード型キャンバス機能「Flows」を公開した。視覚的なノード UI で生成ロジックを一度構築すれば、何度でもバッチ単位で実行できる。画像や動画のワークフローを毎回作り直す手間を省き、制作プロセスの効率化を目指す。
画像から2K動画を生成する「SwiftI2V」登場 RTX 4090単体で動作、計算時間を202分の1に
高解像度の画像・動画変換フレームワーク「SwiftI2V」が発表された。低解像度で動きの骨組みを作ってから条件付き分割生成を行うことで、最大81フレームの2K動画を出力できる。従来のエンドツーエンド手法と比べ計算時間を202倍短縮し、24GBのRTX 4090単体でも2K動画生成が可能になるという。
Video RebirthがBach 1.0公開：音声付きで最長30秒の複数カット動画を生成
新興企業のVideo RebirthがAI動画エンジン「Bach 1.0」を公開しました。最長30秒のネイティブ1080p動画と音声を同時に生成でき、カット間のキャラクター維持やカメラワークの指定に対応。Artificial Analysisで世界6位に初登場し、現在公式サイトで無料枠を試せます。
Sprite-Pipeline：AI動画をUnity・Godot向けの2Dスプライトシートに変換
オープンソースツール「Sprite-Pipeline」が公開された。AIが生成したキャラクター動画からFFmpegでフレームを抽出し、背景を透過処理して256×256の水平スプライトシートへ変換する。UnityやGodotにそのまま読み込めるほか、ブラウザでのプレビュー機能やAIプロンプト指針も備える。