ByteDanceが「Jimeng AI」iOS版を中国で配信、テキストから画像・動画を生成
ByteDanceはテキスト指示から画像や動画を生成できるアプリ「Jimeng AI」のiOS版を中国本土のApp Storeで公開した。すでに提供済みのデスクトップ版とAndroid版に続く動きで、無料枠では最大80枚の画像と26本の動画を生成できる。有料プランは月額69元（約9.70ドル）となっている。
AI動画
新しいニュースを見る
NVIDIA、YouTubeやNetflixから動画を大量収集か AI学習めぐり社内文書流出
米404 MediaはNVIDIAが社内プロジェクト「Cosmos」のAI学習のため、YouTubeやNetflixなどから大量の動画をスクレイピングしていたと報じた。社内で著作権侵害の懸念が上がったものの、管理職は最高幹部の承認済みだと説明。同社は著作権法に準拠していると主張している。
VimeoがAI動画翻訳を提供開始、話者の声のまま29言語に吹き替え可能に
Vimeoは生成AIを活用した動画翻訳ソリューションを発表した。話者の声色やトーンを維持したまま、動画の音声と字幕を29言語に翻訳できる。50以上の言語入力に対応し、視聴者はプレーヤー内で多言語音声を直接切り替え可能。企業の研修やマーケティングにおける多言語展開のコストを大幅に引き下げる。
Runwayが「Gen-3 Alpha Turbo」発表、生成速度7倍で10秒動画を11秒で出力
RunwayはX上で新動画生成AIモデル「Gen-3 Alpha Turbo」を発表した。従来のGen-3 Alphaより7倍高速化し、10秒の動画を約11秒で生成できる。利用料金も大幅に引き下げられ、今後数日かけて順次提供される予定だ。
NVIDIA、感情表現が可能なデジタルヒューマン「James」などを発表
NVIDIAはSIGGRAPHにて対話型デジタルヒューマン「James」やMaxine 3Dを発表しました。JamesはACEプラットフォームとElevenLabsの音声技術を採用し、ユーモアや感情を込めた応答が可能です。さらに2D動画からリアルタイムで3Dアバターを生成する技術も披露されました。
Runway、動画生成AI「Gen-3 Alpha」に画像から動画を作る新機能を追加
Runway は動画生成 AI「Gen-3 Alpha」に Image to Video 機能をリリースした。任意の静止画を動画の最初のフレームに設定し、テキスト指示と組み合わせて生成できる。表現のコントロール性と一貫性が大幅に向上するアップデートとなった。
AI動画のRunway、YouTubeや海賊版映画を無断学習か 内部リスト流出
米404 Mediaの報道によると、AI動画生成ツール「Gen-3」を手がけるRunwayが、数千ものYouTube動画や海賊版映画を無断スクレイピングして学習に利用していた内部データが流出しました。GoogleやNvidiaから出資を受ける同社のデータ収集実態が明るみに出た形です。
Kuaishouの動画生成AI「Kling AI」が世界展開、無料枠も提供
Kuaishouは動画生成プラットフォーム「Kling AI 1.0」を世界向けに公開した。メールアドレスのみで登録でき、1日あたり66クレジットを無料で付与する。テキストや画像からの動画生成に対応し、カメラワーク調整も可能。限定公開が続くSoraに対抗し、一般向けに広く開放した。
Stability AI、単一動画から8視点映像を生成する「Stable Video 4D」公開
Stability AIは単一の動画から8つの異なるカメラアングルの動画を生成するモデル「Stable Video 4D」を発表した。約40秒で8視点の5フレーム動画を出力し、ゲーム開発や映像編集での動的3D表現を効率化する。現在Hugging Faceで公開中。
Luma Labs、動画生成AI「Dream Machine」にループ生成機能を追加
Luma Labsは動画生成モデル「Dream Machine」に新機能「Loops」を追加した。生成動画の開始点と終了点をスムーズにつなぎ、シームレスなループ映像を出力できる。背景アニメーションなどを制作する際の後処理の手間を省ける。
韓国Beeble AI、475万ドルを調達 スマホ動画の照明・背景を自在に変える仮想制作基盤へ
韓国のVFXスタートアップBeeble AIが475万ドルのシード資金を調達した。スマホで撮影した2D映像を正確な3Dデータに変換し、撮影後に照明やカメラアングル、背景を自由に再構成できる技術を開発。ハリウッド級の高価なLEDスタジオを不要にし、独立系映画制作者の制作環境を一変させる狙いだ。
Odysseyが初披露：監督のように演出できる「ハリウッド級」映像AI
Oliver Cameron 氏が新プロジェクト「Odyssey」を発表した。映画やドラマ、ゲーム制作をターゲットに、背景やキャラクター、照明、カメラワークを細かく指示・演出できる「ハリウッド級」の映像 AI を目指す。
LivePortrait：静止画を12.8ミリ秒で駆動する高速ポートレートアニメーション
Kuaishouの研究チームが肖像動画生成フレームワーク「LivePortrait」をオープンソース公開しました。拡散モデルではなく暗黙的キーポイント手法を採用し、人物や動物の静止画を高精度かつRTX 4090で毎フレーム12.8ミリ秒という速度で動かせます。
動画編集アプリ Captions、縦型トーク動画に演出や効果音を自動付与する「AI Edit」公開
動画編集アプリの Captions が新機能「AI Edit」を公開した。1人語りの縦型動画を読み込むと、内容に合わせてズーム、トランジション、画像、音楽、効果音を自動で追加する。アプリ内の12種類の AI アバターと組み合わせれば、プロンプト入力から編集完了まで数分で完結する。
米トイザらス、OpenAI「Sora」で制作したブランド動画を公開
トイザらスの親会社 WHP Global は、OpenAIの動画生成AI「Sora」を使用した初のブランド映像を公開した。制作陣によると、映像の80〜85％をSoraが生成し、約12人のクリエイターがVFXで修正を加えたという。商業広告におけるAI活用の実態を示す事例となった。
Synthesia 2.0が登場：スマホ自撮りでアバター作成、手振り対応の全身モデルも予告
Synthesiaは企業向け動画プラットフォーム「Synthesia 2.0」を発表しました。スタジオ撮影なしで、スマホやウェブカメラから手軽に自分のアバターや30言語以上の複製音声を作成可能です。年内には身振り手振りを交えて話す全身AIアバターの導入も予定されています。
Runway、新世代動画生成AI「Gen-3 Alpha」発表 緻密な時間制御やリアルな人物表現に対応
Runwayは新世代の動画生成基盤モデル「Gen-3 Alpha」を発表した。Gen-2と比べて忠実度や一貫性、動きの滑らかさが大幅に向上。高密度な時間キャプションによる精密なキーフレーム制御や、表現力豊かなリアルな人物描写が可能になる。
TikTok、広告向け生成AI「Symphony」にデジタルアバターと自動吹き替えを追加
TikTokはクリエイティブAI「Symphony」の新機能としてデジタルアバターとAI吹き替えを発表した。30言語以上に対応する事前登録アバターや独自カスタムアバターを提供し、動画を10言語以上に自動翻訳できる。撮影の手間をかけずに多言語広告を展開可能にする狙いだ。
Google DeepMindが「V2A」技術を発表、無音の生成動画に効果音や音声を自動同期
Google DeepMindは映像から音声を自動生成する「V2A」技術の研究成果を発表した。拡散モデルを用いて映像のピクセルとテキスト指示を解析し、手動調整なしで劇伴や効果音、台詞を映像に合わせて生成できる。現在は唇の動きとの同期などに課題があり、一般公開に向けたテストが続けられている。
トライベッカ映画祭、OpenAI「Sora」で制作した短編5作品を上映へ
米トライベッカ映画祭はOpenAIの動画生成AI「Sora」を使って制作された短編映画5作品を上映するプログラム「Sora Shorts」を発表した。サンダンス映画祭受賞者のニキャトゥ・ジューシュー監督らが参加し、6月15日に上映とパネル討論が行われる。一般未公開のSora作品が主要映画祭で上映される初の試みとなる。