ByteDance、動画・音声同時生成モデル「Alive」予告 高精度な口唇同期を実現
ByteDanceは動画と音声を一体生成するモデル「Alive」を発表した。テキストや参照画像から口唇同期や表情が自然な有声動画を生成でき、勝率比較ではSoraを上回る結果を示した。現在は論文公開にとどまり、コードとオンラインデモは近日公開予定となっている。
AI動画
新しいニュースを見る
AutodeskがGoogleを提訴 AI映像制作ツール「Flow」の商標権侵害を主張
Autodeskは先週金曜、サンフランシスコ連邦地裁にGoogleを提訴した。自社が2022年9月から映像制作ツールに使ってきた「Flow」の商標を、GoogleがAI映像制作ソフトで侵害したと主張。Googleが商業化しないと約束しながら裏で商標出願を進めていたと非難している。
清華大学発のXmax AI、手で触れるリアルタイム対話型動画モデル「X1」を発表
清華大学のXmax AIチームが、リアルタイム対話型動画モデル「X1」を発表しました。スマホのカメラ越しに手の動きを認識し、ミリ秒級の低遅延と無制限の生成時間で仮想キャラクターと触れ合えるのが特徴です。現在プライベートベータの参加者を募集しています。
動画の動きを別の被写体に移植する「FastVMT」、3.4倍の高速化を実現
動画の動きをテキスト指示で別物体に移植する新手法「FastVMT」が発表された。車の走行軌跡やカメラワークを維持したままオオカミや船に差し替え可能で、計算の無駄を省くことで生成速度を 3.43 倍に高めた。精密な映像制御を加速する技術だが、現在は論文のみの公開となっている。
動画の多言語吹き替えと口パクを自動同期するオープンソースツール「Just Dub It」
動画の多言語吹き替えとリップシンクを同時に処理するオープンソースツール「Just Dub It」が公開された。LTX-2 モデル向けの軽量 LoRA アダプターとして動作し、話者の容姿を保ったまま翻訳音声と口の動きを生成する。コードや重みは公開済みで、民生用 GPU でも動作する。
「Skin Tokens」が登場：カニや甲虫の3Dモデルも自動で骨格推定・スキニング
3Dモデルの骨格とスキニングウェイトを自動推定する新手法「SkinTokens」と「TokenRig」が発表された。人間だけでなく鳥やカニ、甲虫などの複雑な生物にも対応し、スキニング精度は最大133%向上。3D生成からアニメーション化までの最大のボトルネックを解消する。
Kling AIが「Kling 3.0」公開、15秒のマルチショット動画や4K画像生成に対応
Kling AIはマルチモーダル制作エンジン「Kling 3.0」を発表した。15秒の高精度なマルチショット動画や4K画像の生成に対応し、複数キャラクターや多言語アクセントに対応したネイティブ音声機能も強化した。現在はWeb版でUltra会員向けに先行提供されている。
OpenAI、Soraフィードの設計思想を公開：受動的な視聴ではなく創作意欲を重視
OpenAIは動画生成AI「Sora」のフィード設計思想を発表した。単にスクロールし続ける受動的な消費ではなく、ユーザーの創作意欲を刺激する推薦ロジックを優先する。アルゴリズムの調整機能やChatGPTのペアレンタルコントロール機能も備える。
Klingが「3D Move」を発表：キャラへの動作移植と自由なカメラワークを両立
Kling が 3D 知覚モーション制御技術「3D Move（3DiMo）」を発表した。動画内の人物の動作を新キャラに移植しつつ、回転やズームなどカメラ視点も同時に破綻なく制御できる。手や指の細かな動きの再現性も高い。現在は技術論文のみが公開されている。
動画の反射や影まで消せる「Omnimat Zero」がオープンソースで登場
動画内の指定した対象だけでなく、水たまりの反射や地面の影まで自然に除去できる動画編集ツール「Omnimat Zero」のコードが公開された。複雑な遮蔽物の保持や前景の透明レイヤー抽出にも対応する。
Adobe Firefly、画像・動画の無制限生成を開放 RunwayやGPTも利用可能に
AdobeはFireflyの対象サブスクリプション向けに、画像および動画の無制限生成を提供開始した。自社モデルに加え、Google Nano Banana ProやGPT、Runway Gen-4などの外部モデルも含まれる。3月16日までに加入すれば最大2K解像度まで生成し放題となり、クレジットを気にせず試作を重ねられる。
xAIが「Grok Imagine 1.0」公開、720p・10秒動画と音質向上
xAIは動画生成モデル「Grok Imagine 1.0」をリリースした。最大10秒の動画生成、720p解像度、大幅に向上したオーディオに対応する。過去30日間で12.45億本以上の動画が生成されたことも明かされ、急速に広がる利用規模に合わせて基本性能を底上げした格好だ。
テンセント、物体と自然に触れ合える対話アバター「InteractAvatar」発表
テンセントなどの研究チームは周囲の物体と相互作用できるアバター生成技術「InteractAvatar」を発表した。従来の「棒立ちで話すだけ」だったアバターと異なり、スマホを持つ、ヘッドフォンをつけるといった複雑な動作をタイムスタンプ単位で正確に制御できる。
Pipio AIの「EditYourself」：言い淀みを消して発言内容も自在に改変、リップシンクも完全同期
Pipio AI などの研究チームが動画編集フレームワーク「EditYourself」を発表した。撮影済み動画の話者の台詞を文字ベースで修正・削除・追加でき、言い淀みや吃音をカットしても不自然な継ぎ目なく口型を自動同期する。撮影後の修正が格段に手軽になる一方、ディープフェイクの悪用懸念も高まる。
Invideo、Anthropicと提携しプロンプト1行で動くAIモーショングラフィックスを発表
Invideo は Anthropic と連携し、AI モーショングラフィックス機能を発表した。1 つのプロンプトを入力するだけで、After Effects やテンプレート、コードを一切使わずに本格的な動的デザインを作成できる。チームはこれをモーショングラフィックス版「Vibe Coding」と表現している。
Google、世界モデルを体験できる「Project Genie」公開：歩き回れる仮想空間をリアルタイム生成
Google DeepMind は世界モデル Genie 3 を活用した実験的プロトタイプ「Project Genie」を公開しました。テキストや画像から物理法則を反映した操作可能な仮想空間をリアルタイムに生成できます。現在は米国向けの Google AI Ultra 登録者限定で、生成時間は最大 60 秒に制限されています。
YouTube、登録者590万人超の低品質AI生成チャンネルを一斉削除
YouTubeが登録者数590万人超、総再生数12億回を誇る大手を含む複数の「AIスロップ（低品質な自動生成動画）」チャンネルを削除したことが明らかになった。同社はスパムや詐欺に関する規約違反を理由としており、CEOが掲げる低品質AIコンテンツ対策が本格化している。
Apple、Final Cut ProとLogic Proを刷新：自然言語での動画検索やAIシンセ奏者を追加
Apple は Mac および iPad 向け「Final Cut Pro」と「Logic Pro」のアップデートを配信した。Final Cut Pro には自然言語で被写体や発言を検索できる AI 機能が追加され、Logic Pro には自動演奏を行う AI 合成器プレイヤーが加わった。膨大な素材の選別や音探しにかかる手間を大幅に削れる。
OpenMOSSが「MOVA」をオープンソース公開：音声と動画を同時に生成する32B MoEモデル
OpenMOSSは映像と同期した音声を単一モデルでネイティブ生成する「MOVA」をオープンソースで公開した。総パラメータ320億のMoE構成で実行時に180億が活性化し、自然なリップシンクにも対応する。GitHubでコードと重みが提供されているが、720p版は約77GBあり高スペックなGPUが必要となる。
LingBot-World：Wan2.2基盤のオープンソースリアルタイム世界モデル
robbyant がリアルタイム世界シミュレータ「LingBot-World」のコードとモデルを公開した。Wan2.2 をベースに、テキストや画像から 16 FPS・1 秒未満の遅延で 480P/720P の操作可能環境を生成し、分単位の長期記憶も維持する。閉鎖的モデルに対する有力なオープン代替となる。