実在の街を再現する「ソウル世界モデル」登場 ストリートビューのRAGで長距離生成
実在の都市環境に基づいた「ソウル世界モデル（SWM）」の研究が公開された。数百万枚のストリートビュー画像をRAG形式で参照することで誤差の蓄積を防ぎ、数キロメートルに及ぶ安定した街並み動画の生成やテキストによる天候・災害プロンプトに対応する。
AI動画
新しいニュースを見る
アリババ、唇の動きに同期する映像吹き替えAI「Fun-CineForge」公開
アリババが映像向け配音モデル Fun-CineForge をオープンソース公開した。動画とテキストを入力すると唇の動きや話者を認識し、顔が隠れた場面でもタイミングを合わせて発声。複数キャラクターの掛け合いも自然な声色で切り替えられる。
Pulse of Motion：AI動画の「時間の歪み」を物理法則に補正する軽量オープンソース
研究チームが「Pulse of Motion」をオープンソース化し、AI生成動画が現実の速度とズレる「計時錯覚」の解消に乗り出した。映像の動きから本来あるべき物理フレームレートを直接推定して速度を補正する。2GB未満の小型モデルで、一般的なPCでも動作する。
バイトダンス、著作権侵害の批判受け動画AI「Seedance 2.0」の世界展開を停止
バイトダンスは週末、動画生成AIモデル「Seedance 2.0」の世界展開を一時停止した。ハリウッド映画協会からの警告や米上院議員からの即時停止要求を受けた措置で、キャラクターや有名人の無断生成が問題視された。同社は現在保護策を強化中としている。
コマ落ち動画から滑らかな4D人体アニメを再構成する「Retime GS」
2D動画から全身の4D人体アニメーションを生成する「Retime GS」が公開された。動画のフレームが欠落してカクついていても、改良型4D Gaussian Splattingなどを活用して動きを補完し、アーティファクトの少ない滑らかな3Dシーンを出力できる。
NBCユニバーサル、PeacockにAI縦型動画機能：アバター案内やNBAリアルタイム変換
NBCユニバーサルは動画配信サービス「Peacock」アプリに導入するAI機能を発表した。今夏提供の「Your Bravoverse」では、アンディ・コーエン氏のAIアバターが5000時間以上の番組からパーソナライズされた縦型動画を案内する。今春にはAIで生中継を9:16の縦型にリアルタイム変換するNBA配信のテストも開始する。
OpenAI、Video APIを拡充：Sora 2によるカスタムキャラや20秒動画に対応
OpenAIはSora 2を活用したVideo APIの新機能を発表しました。最大20秒のクリップ生成に加え、カスタムキャラクターやオブジェクトの配置、16:9と9:16の出力、シーン延長、バッチ処理に対応します。開発者は動画生成ワークフローをより柔軟に制御できるようになります。
OpenAI、動画生成AI「Sora」をChatGPTに直接統合か
The Informationによると、OpenAIは動画生成ツール「Sora」をChatGPTに直接統合することを計画しているという。現在は独立したアプリ等での提供にとどまるが、Claudeとの競争激化を背景にユーザー呼び戻しを狙う。一方で計算コストの増加やディープフェイク悪用への懸念も指摘されている。
Runway、新組織「Runway Labs」設立：世界モデルの産業応用を模索
Runway は生成 AI 動画と「一般世界モデル」の次世代応用を探る社内インキュベーター「Runway Labs」の立ち上げを発表した。共同創業者の Alejandro Matamala Ortiz 氏が率い、映画や医療、ゲームなどに向けた実験的プロダクトの試作を推進する。
音声と映像を一度に生成、一体型デジタルヒューマン「ID Laura」が公開
一体型デジタルヒューマン生成モデル「ID Laura」がオープンソース化された。音声をクローンしてから動画の口元を合わせる従来の手法と異なり、単一モデルで映像・音声・環境音を同時に生成できる。LTX 2.3ベースで、動作には最低24GB、推奨48GBのVRAMが必要となる。
NVIDIA、ComfyUI向けに簡易UIや4K超解像ノードを提供 生成速度は最大30倍に
NVIDIAはGDCにて、ComfyUIの初心者向け「App View」を発表した。ノードを組まずにプロンプト入力だけで動画を生成できる。さらにRTX Video Super Resolutionノードにより4K超解像が従来比30倍高速化し、NVFP4対応でRTX 50シリーズのVRAM消費を60%削減できる。
マウスの脳活動から動画を再構成、UCLが単一細胞レベルの解読に成功
ロンドン大学ユニバーシティ・カレッジ（UCL）の研究チームは、マウスの視覚野における単一神経細胞の活動データのみから、10 秒間の動画を高精度に再構成することに成功した。運動や瞳孔の変化といった生体状態も考慮されており、記録する神経細胞数が増えるほど精度が向上する。
MatAnyone 2 公開：わずか 140MB のモデルで髪の毛まで動画切り抜き
グリーンバック不要で動画の背景を綺麗に除去できるオープンソース AI「MatAnyone 2」が登場しました。約 140MB と軽量ながら髪の毛や激しい動きも高精度にマスク化でき、Hugging Face 上で無料デモが試せます。
Tavusが「Raven-1」発表：声のトーンや表情から真の意図をリアルタイム把握
Tavusは会話相手の感情や意図をリアルタイムに解釈するマルチモーダルAI「Raven-1」を発表した。音声と映像を統合し、単なる感情ラベルではなく自然言語で状態を出力する。更新遅延は300ミリ秒以内でOpenAI互換のツール呼び出しにも対応。文字起こしに依存していた対話AIが、皮肉や躊躇といった文脈を汲み取れるようになる。
CubeComposer：普通の単眼動画を360度パノラマに拡張、4Kにも対応
研究チームが全方位動画モデル「CubeComposer」をオープンソース公開しました。単一カメラで撮った通常の映像を360度パノラマ動画に変換し、4K解像度にも対応します。拡散モデルで映像を6面に分解して背後の死角を補完し、Argusなどの競合を上回る品質を実現していますが、現状はわずかな歪みも残ります。
テンセントがEffectMakerを発表：動画の視覚効果を追加学習なしで複製
テンセント混元チームが動画VFXカスタマイズ技術「EffectMaker」を発表した。参考動画の特殊効果を個別ファインチューニングなしで対象映像に直接移植できるのが特徴で、13万本の動画を含むデータセットも構築された。
Lightricks、オープンソース動画モデル「LTX-2.3」公開：縦型対応と無料ローカル編集ツールも
Lightricksはオープンソースの動画・音声生成モデル「LTX-2.3」とローカル編集ツール「LTX Desktop」を公開した。VAEとボコーダーを刷新して解像感と音質を高め、1080×1920のネイティブ縦型動画に対応した。モデルの重みはHugging Faceで公開され、年商1000万ドル未満であれば商用利用も無料。
RealWonder公開：静止画に外力を加え、物理的な動きを秒間13フレームでリアルタイム生成
単一画像からリアルタイムに物理挙動動画を生成するオープンソースプロジェクト「RealWonder」が公開された。画像上の物体に風や水流などの仮想外力を加えると、受力後の動きをリアルタイムに映像化する。H200 GPU 上で 480p・13 FPS を達成し、コードとモデルの重みが公開されている。
Lumaが制作特化AI「Luma Agents」発表：自社モデルUni-1と外部AIを連携
Lumaは統合マルチモーダルモデル「Uni-1」を基盤とするクリエイティブエージェント「Luma Agents」を発表しました。テキスト、画像、動画、音声を横断した制作に対応し、GoogleのVeo 3など外部モデルと連携しながら自律的な推敲を繰り返します。現在はAPI経由で段階的に提供されています。
Netflix、ベン・アフレック設立の映像制作AI企業InterPositiveを買収
Netflixは俳優・監督のベン・アフレック氏が2022年に立ち上げた映画制作AI企業InterPositiveを買収したと発表した。同社は専用スタジオで撮影した独自データセットを用い、照明や構図、編集の整合性を保つモデルを開発する。アフレック氏はシニアアドバイザーとしてNetflixに合流する。