Twelve LabsがPegasus-1を発表：長尺動画から直接テキストを生成
Twelve Labsは動画言語基盤モデル「Pegasus-1」を発表し、動画からテキストを生成するAPI群を公開した。静止画の連続として処理するのではなく、映像と音声を統合して解析することで、長尺動画の要約や目次作成、レポート生成に対応する。
AI動画
新しいニュースを見る
D-IDがスマホアプリを公開：写真1枚とテキストから「話す動画」を生成
D-IDはiOSおよびAndroid向けモバイルアプリを公開した。静止画のアップロードとテキスト入力だけで、119言語や感情トーンに対応した最大10分間の人物動画を生成できる。月額5.99ドルからのサブスクリプション制で、14日間の無料トライアルが用意されている。
Descript、AI動画編集アシスタント「Underlord」を発表 指示出しだけでカット割りや字幕付け
DescriptはAI動画・ポッドキャスト編集アシスタント「Underlord」をリリースした。映像と台本を理解し、話者のセンタリング、字幕の追加、言い淀みの削除などの面倒な作業を自然言語の指示で自動処理する。無料枠（月1時間まで）でも試用可能だ。
ElevenLabsがPictory AIと提携、テキスト動画生成にリアルなAI音声を提供
ElevenLabsは動画生成プラットフォームのPictory AIとの提携を発表した。Pictoryに高精度な音声合成技術が統合され、英語やドイツ語を中心に、記事や台本から自然なナレーション付き動画を手軽に生成できるようになる。
米上院が「No Fakes Act」草案提示：本人の同意なきAI複製を禁止へ、SAG-AFTRAも支持
米上院の超党派議員が「No Fakes Act」の議論草案を公表し、ストライキ中の米俳優組合（SAG-AFTRA）が支持を表明した。本人の同意なく音声や容姿をAIで複製することを連邦レベルで禁じる内容。スタジオ側が生成AIを用いてエキストラなどの人件費を削減する動きに歯止めをかける狙いがある。
Adobeが実験的生成AI技術を公開：動画の生成塗りつぶしや動くドレスなど11種
AdobeはMAX Sneaksで11種類の実験的生成AIプロジェクトを初公開した。テキスト指示で動画のオブジェクトを差し替え全フレームに反映する「Fast Fill」や、服の表面デザインをリアルタイムに切り替える「Primrose」などを実演。これらは研究段階だが、将来的に同社製品へ搭載される可能性がある。
TikTok、AdobeやCapCutから直接動画を投稿できる「Direct Post」提供開始
TikTokはサードパーティ製アプリから直接動画を投稿できる「Direct Post」機能を発表した。Adobe Premiere ProやAdobe Express、CapCutなどに対応する。編集ソフト内でキャプションや公開設定を済ませて1クリックで共有でき、書き出しとアップロードの手間を省く。
米脚本家組合がスト終結へ：ChatGPT強制利用の禁止など生成AI規制で合意
全米脚本家組合（WGA）は約5カ月に及ぶストライキの終結を決めた。締結された3年協約には厳格な生成AI規制が盛り込まれ、制作会社が脚本家にChatGPTなどの使用を強制することや、AIに脚本を書かせる行為が禁止された。クリエイターをAI代替から守る初の先例となる。
YouTubeがAI新機能を発表：文字入力だけでShortsの背景動画を生成
YouTubeはクリエイター向けの新機能を発表しました。目玉となる実験機能「Dream Screen」では、テキストプロンプトを入力するだけでShorts向けのAI背景動画や画像を生成できます。あわせて自動字幕やBGMのビート同期を備えた無料編集アプリ「YouTube Create」のベータ版も公開されました。
トム・ハンクスらが参加、Metaphysic が俳優のAI肖像権管理システムを発表
生成AI企業のMetaphysicが俳優の顔や声などのデータを管理する新システム「Metaphysic Pro」を発表しました。アン・ハサウェイやトム・ハンクスらが初期ユーザーとして参加。ハリウッドでAI利用の懸念が高まる中、本人の許諾や対価の透明な管理を目指します。
Adobe、Premiere ProとAfter Effectsに音声向上などの新AI機能を投入
AdobeはPremiere ProとAfter Effectsのベータ版に新AI機能を発表した。Premiere Proにはノイズを除去して音質を高めるEnhance Speechやつなぎ言葉の一括削除機能が加わり、After EffectsではAIロトブラシが進化。現在ベータ版で利用可能で、今秋に正式リリース予定。
Google、広告向けAIクリエイティブガイダンスを提供：YouTube動画の構成チェックや15言語のAIナレーションに対応
GoogleはGoogle Adsにおいて、AIを活用したクリエイティブガイダンス機能を導入した。動画開始5秒以内のロゴ表示や縦横比、長さをAIが自動判定し、改善案を提示する。また、管理画面内から15言語の高品質なAIナレーション音声を直接追加できる。
スウェーデンのMotorica、AIキャラクターアニメ生成ツール「MoGen」のオープンベータを開始
スウェーデンのMotoricaは、拡散モデルを活用した3Dキャラクターアニメーション生成ツール「MoGen」のオープンベータを開始した。150種類以上のスタイルで訓練されており、BlenderやMaya、Unreal Engine 5などのFBX対応ソフトでモーションを編集できる。
StableVideoがオープンソース化：拡散モデルで一貫した動画編集を実現
2023年8月、研究チームがICCV 2023採択論文「StableVideo」のコードを公開した。Text2LIVEとControlNetをベースに構築され、テキスト指示によるフレーム間の整合性を保った動画編集が可能で、メモリ最適化により14GB前後のVRAMでも動作する。
Amazon、NFL中継にAI導入：電撃突撃やパス候補をリアルタイム予測
AmazonはNFL「Thursday Night Football」配信向けに、AIを用いたリアルタイム予測機能を発表した。独自モデルが選手の座標や加速度からクォーターバックへの電撃突撃を予測し赤枠で表示するほか、フリーになったパス候補も可視化する。新機能は9月14日の開幕戦から「Prime Vision」で提供予定。
ElevenLabsがScienceCastと連携：arXiv論文を音声付き解説動画に変換
ElevenLabsは科学動画プラットフォームのScienceCastおよびarXivとの連携を発表した。ScienceCastの自動動画生成ツールにElevenLabsのAI音声合成が組み込まれ、arXivの論文を3〜5分の音声付き要約動画に変換できる。膨大な論文を効率よくインプットできる。
Runwayが長編AI動画の視聴機能「Watch」を公開、CEOは共存強調
Runwayは自社ツールで作成された長編動画を共有・視聴できる新機能「Watch」をウェブとiOSアプリで公開した。ハリウッドでAI代替への懸念からストライキが続く中、バレンズエラCEOはAIはすべてを奪うのではなく創作を拡張するものだと述べ、前向きな成果を示す場にするとしている。
D-IDとElevenLabsが提携、AI動画生成に高品質な音声合成を統合
D-IDとElevenLabsは提携を発表し、D-IDの動画生成スタジオ「Creative Reality studio」にElevenLabsの高品質音声を導入した。Proプランの利用者はアバター動画の作成時に9種類の厳選音声と4種類の表情表現を一括で指定でき、より自然な発話動画を簡単に作れる。
YouTubeがAI動画要約をテスト、検索や再生画面で内容をすばやく把握
米YouTubeは、検索画面や視聴画面にAI生成の動画概要を表示するテストを開始した。視聴前に内容を素早く確認できるようにする狙いで、まずは一部モバイル端末向けに英語の解説動画やVlogなどで展開される。クリエイター自身が書く説明文を置き換えるものではないとしている。
ハリウッドのストライキが続く中、Netflixが年俸90万ドルのAI職を募集
報道によると、Netflixは機械学習プラットフォームのプロダクトマネージャーの求人を公開した。年俸は最大90万ドルに達する。映画や番組の制作最適化を狙う動きだが、俳優や脚本家の組合がAI規制を巡ってストライキを行う最中の巨額投資として波紋を呼んでいる。