xAIが「Grok Imagine API」公開、低遅延・高コスパな音声付き動画生成を実現
xAIはテキストや静止画から音声付き動画を生成できる「Grok Imagine API」を公開した。高品質な映像表現に加え、生成遅延と利用コストの大幅な削減をアピール。オブジェクト差し替えやシーン編集にも対応し、開発者やクリエイターが低コストで並行試作できる環境を整えた。
AI動画
新しいニュースを見る
TeleStyle 公開：画像・動画の画風を参照画像やテキストで自在に変換
画像と動画に対応したスタイル変換モデル「TeleStyle」が発表された。Qwen-Image-Editをベースに開発され、参照画像やテキスト指示から元の構図を崩さずに画風を適用できる。動画向けモジュールでフレーム間の一貫性も維持しており、コードとモデルが公開されている。
テンセントが「ScriptAgent」公開、対話文から映画風動画を自動生成
テンセントは、対話テキストから映画風の映像を生成するフレームワーク「ScriptAgent」を発表した。脚本作成、動画モデルの監督、品質評価を担う3つのエージェントが協調し、Sora2-Proなどのモデルを使ってシーンをまたぐ一貫した動画を生成する。評価ベンチマーク「ScriptBench」もあわせて公開された。
Google DeepMind、サンダンスでAI短編アニメを公開：Veoと手描きを融合
Google DeepMindと元Pixarのクリエイター陣が制作した短編アニメ『Dear Upstairs Neighbors』がサンダンス映画祭で公開された。テキスト指示のみに頼らず、手描きのラフ動画からVeoやImagenで精密に制御する手法を採用。プロの表現意図を損なわずに生成AIを活かす制作手法として注目される。
Luma AIがRay3.14を公開：ネイティブ1080p対応で生成速度4倍、コスト3分の1に
Luma AIは推論ベースの動画生成モデル「Ray3.14」を発表した。ネイティブ1080p出力に対応し、生成速度を従来比4倍に高速化するとともに1秒あたりの利用料を3分の1に抑制。ちらつきやブレを抑えたことで、実制作ですぐに使えるアセットの生成が可能になった。
RunwayがGen-4.5の画像から動画生成を公開、見分けられた人はわずか10%
RunwayはGen-4.5に画像から動画を生成する新機能を追加した。実験では生成動画の真偽を見分けられた人はわずか10%だったという。Artificial Analysisの首位に立つ同モデルについて、同社はAIメディアが社会的「臨界点」に達したと指摘している。
YouTube、クリエイター自身の「AI分身」でShorts動画を作成可能に
YouTubeはクリエイターが自身のAI肖像を使ってShortsを生成できる機能を年内に提供すると発表しました。テキストからのミニゲーム生成も予定されており、無断での悪用を防ぐ肖像管理ツールも同時に提供されます。現在は未提供です。
動画切り抜きモデルVideoMaMa：粗いマスクを高精度なアルファマットに変換
研究チームが動画マット処理モデル「VideoMaMa」を発表した。事前学習済み拡散モデルを活用し、大雑把な分割マスクを画素精度のアルファマットへ変換する。5万本超の動画データセット「MA-V」とSAM2-Matteも構築され、全モデルとデータが公開予定となっている。
Motion 3-to-4：単眼動画を4D動的オブジェクトに変換、動作の移植にも対応
単眼動画から高品質な 4D 動的オブジェクトを合成するオープンソースモデル「Motion 3-to-4」が公開された。静的 3D 形状と動作再構成を分離してフレームごとの頂点軌道を予測し、抽出したキャラクター動作を別動画へ移植できる。
OmniTransfer公開：動画を1本渡すだけでVFX・動作・カメラワークを忠実に複製
Wan 2.1をベースにした動画転送フレームワーク「OmniTransfer」が登場した。ポーズ抽出やカメラ軌道の事前推定を行わずに、参照動画から視覚効果やキャラクターの動き、カメラワーク、スタイルを単一の仕組みで別画像へ高精度に移植できる。
Lightricks、音声から動画を生成する新機能を提供 楽曲のビートに同期
Lightricks は音声、音楽、効果音から動画を生成できる新機能を発表した。リズムや拍子を理解して映像を音と同期させることが可能で、ミュージックビデオや素材映像、デジタルヒューマンの制作に活用できる。音声そのものが新たなプロンプトになる。
AdobeがPremiereを強化：端末内AIで被写体を自動追従、マスク追従は最大20倍高速化
Adobe は Premiere 向けに端末内 AI を活用した「Object Mask」を発表した。マウスを重ねてクリックするだけで動く被写体を正確に追従できる。形状マスクのトラッキング速度も最大 20 倍に向上し、Firefly Boards からの素材取り込みにも対応。After Effects 26.0 も同時提供される。
Overworld、キーボードとマウスで操作できるリアルタイム世界モデル「Waypoint-1」をオープンソース公開
Overworldはキーボードやマウスでリアルタイムに操作できる動画生成世界モデル「Waypoint-1」をオープンソース公開しました。1万時間のゲーム映像で学習され、RTX 5090上で最大60FPSの低遅延生成を実現しています。画質や一貫性に課題は残るものの、2.3Bの小型モデルがローカル向けに提供されています。
RemotionがAgent Skillsを公開：Claude Codeへの指示だけでMG動画を自動生成・レンダリング
RemotionのAgent Skillsを活用し、Claude Codeに自然言語で指示するだけでUIや3Dアニメーションを含むMG動画をコード化・レンダリングする事例が公開されました。After Effectsを使わずにプロンプトだけで機能デモやPR動画を書き出せます。
複数キャラを破綻なく動かす動画生成モデル「CoDance」がオープンソース化
任意の人数のキャラクターを自然に動かせるアニメーションモデル「CoDance」が公開された。ポーズと位置の固定的な結びつきを解き、テキストとマスクで再マッピングすることで、位置ズレや多様な画風に対応する。現在コードと重みが無償提供されている。
リアルタイム人型動画生成「FlowAct-R1」発表 25fpsで無制限長の対話を実現
研究チームがインタラクティブ人型動画生成モデル「FlowAct-R1」を発表した。ストリーミング自己回帰技術により、480p・25fpsのリアルタイム生成と約1.5秒の初期遅延を達成。動作の破綻なく無制限に生成でき、リアルタイム配信や対話AIの実用化を後押しする。
コロンビア大がシリコン製ロボット顔を開発：YouTubeを見て自律的に口パクを習得
コロンビア工科大学の研究チームは、26 個の超小型モーターを備えたシリコン製ロボット顔を開発した。事前に動きをプログラムするのではなく、鏡で自身の動きを把握した後に YouTube 動画を見て音声と唇の動きを対応付けた。11 言語に対応し、ChatGPT と連携して自然な対話を実現する。
Googleが「Veo 3.1」刷新：縦画面と4Kに対応、参照画像でキャラの崩れを防ぐ
Googleは動画生成モデル「Veo 3.1」をアップデートし、画像から動画を作る機能にネイティブの9:16縦画面と最大4K解像度を追加した。参照画像を元に別シーンでも人物や背景の一貫性を維持でき、トリミングなしでショート動画を作れる。Geminiアプリなどで利用可能。
PixVerseがリアルタイム世界モデル「R1」公開：生成中にプロンプトで映像を即時書き換え
PixVerseはリアルタイムで動画を連続生成できる世界モデル「PixVerse R1」を発表した。生成中にテキストで指示を追加して画面を即座に変えられるのが特徴。現状は人物の歪みなど一貫性に課題を残すものの、AI動画生成をレンダリング待ちからリアルタイム操作へと前進させた。
3Dモデルの骨組みを自動推定する「RigMo」登場：人や動物から扇風機まで手作業なしでアニメーション化
3Dメッシュの連続データから骨格とモーションを自動推論するフレームワーク「RigMo」の論文が公開された。人手によるボーン設定なしで、人間だけでなく動物や扇風機などの物体も破綻なくセットアップできる。現在論文が公開されており、コードとデータも順次公開される予定だ。