Google、LLM基盤の動画生成モデル「VideoPoet」発表 拡散モデルを使わず10秒の一貫した大動作を生成
Googleは、主流の拡散モデルではなく大規模言語モデル(LLM)アーキテクチャを採用したマルチモーダル動画生成モデル「VideoPoet」を発表した。テキストや画像からの動画生成、スタイル変換、音声生成を単一モデルに統合し、アーティファクトを抑えた10秒の一貫した大動作動画を生成できる。
Googleは、主流の拡散モデルではなく大規模言語モデル(LLM)アーキテクチャを採用したマルチモーダル動画生成モデル「VideoPoet」を発表した。テキストや画像からの動画生成、スタイル変換、音声生成を単一モデルに統合し、アーティファクトを抑えた10秒の一貫した大動作動画を生成できる。
画像生成AIのMidjourney v6が公開された。デフォルトでは有効になっていないため、/settingsからv6を選択するか、プロンプト末尾に「--v6」を付与する必要がある。初期テスト段階では生成速度が遅いと報告されている。
米Microsoftは、AI音楽スタートアップのSunoと提携し、「Microsoft Copilot」上でテキスト指示から楽曲を生成できる新機能を発表した。楽器演奏や楽理の知識がなくても、ジャンル指定や歌詞のチャット入力だけでボーカル入り楽曲を作成できる。
日曜夜、パキスタンのカーン元首相の政党が ElevenLabs の音声合成技術を使い、同氏の声を再現した 4 分間の選挙演説動画を公開した。獄中からのメモをもとに作成されたオンライン集会は 50 万回以上再生され、政府が主要 SNS を遮断する騒動に発展している。
Stability AIは単一の画像から物体の新規視点画像を生成し3Dモデルを再構築する「Stable Zero123」を公開した。Zero123-XLと比べデータセットとカメラ仰角制御を改善し、学習効率は40倍に向上。単一視点ならSD1.5並みのVRAMで動作し、Hugging Faceで非商用向けに重みが提供されている。
Googleは、テキストプロンプトから音楽を生成できる実験的ツール「MusicFX」を公開した。MusicLMを基盤とし、DeepMindの電子透かし技術「SynthID」を自動で埋め込む仕様だ。著作権保護のため、特定アーティストの模倣やボーカル生成は制限されている。米国や豪州などで先行提供中。
Snapchatは月額3.99ドルの「Snapchat Plus」会員向けに、テキスト指示から画像を生成して友人に送信できる新機能を提供開始した。さらに撮影した写真の背景をAIで補完・拡張する機能や、友人と一緒に生成できるAIセルフィー機能「Dreams」も追加された。
Metaはテキストから画像を生成する独立したWebツール「Imagine with Meta」を公開した。同社の画像生成モデル「Emu」を採用し、米国のユーザーは1プロンプトにつき4枚の画像を無料で生成できる。さらに同社は、トリミングや色調整にも耐性を持つ不可視の電子透かしを導入する方針も明かした。
画像生成AIプラットフォームのLeonardo.Aiは3100万ドルの資金調達を発表した。登録ユーザー数は700万人に達し、生成画像数は7億枚を突破。詳細な描写コントロールや独自モデルの学習、プライベートクラウド対応の企業版を武器に事業拡大を図る。
Leonardo AIはリアルタイム生成機能「Live Canvas」を有料・無料問わず全ユーザーに開放した。キャンバス上の手描きスケッチが即座に高品質な画像へと変換される。今後1〜2週間でさらに新機能が追加される予定だ。
Ideogramは画像プロンプト機能をリリースした。テキストに加えて画像をアップロードすることで、視覚的な入力を使って生成結果をコントロールできる。現在はPlusプランの有料会員向けに提供されている。
AmazonはAWS re:Inventにて「Titan Image Generator」を発表した。Bedrock経由で提供される企業向けモデルで、画像生成や背景変更に対応する。圧縮や切り抜きでも消えない不可視の電子透かしを自動埋め込み、著作権侵害に対する補償も提供する。
AI動画生成のHeyGenは560万ドルの資金調達を発表し、スマホで撮影した動画からわずか5分で個人のAIアバターを作成できる新機能を公開した。従来はスタジオ撮影と数日の処理が必要だったが大幅に短縮。年換算の定期収益は1800万ドルに達している。
Stability AI は画像生成モデル「SDXL Turbo」を公開した。新技術 ADD により、必要な生成ステップ数を 50 からわずか 1 ステップに短縮。A100 上で 512x512 画像を 207 ミリ秒で出力できる。現在は非商用の研究ライセンスで提供されている。
AI動画生成プラットフォームを手がけるPikaは、Lightspeed主導で5500万ドルを調達したと発表し、「Pika 1.0」の早期アクセスを開始した。3Dアニメ調などの生成に加え、動画内の衣装変更や被写体追加、画面比率の拡張といった編集機能が加わった。
Runway は動画生成 AI「Gen-2」向けに新機能「Motion Brush」を公開した。画像内の動かしたい部分をブラシで塗り、方向と強さを指定するだけで局所的なアニメーションが可能になる。あわせてスタイルプリセットや精密なカメラ制御も追加された。
Stability AIは、初の動画生成基盤モデル「Stable Video Diffusion」のリサーチプレビューを公開した。Stable Diffusionをベースにした2種類の画像・動画変換モデルで、14フレームまたは25フレームの動画を生成できる。コードと重みは公開されているが、現時点では研究用途限定となる。
報道によると、ペットを主役にした「ディズニー・ピクサー風」AIポスターがネットで拡散したことを受け、マイクロソフトがBingの画像生成ツールを調整した。一時「Disney」の入力を遮断した後、生成されるロゴや文字が意図的に崩れる仕様に変更されている。
Google DeepMindとYouTubeは音楽生成モデル「Lyria」を発表した。実験プロジェクト「Dream Track」では、参加アーティスト公認のボーカルやスタイルを使った30秒のShorts用音源を生成可能。不可聴の電子透かし「SynthID」も埋め込まれ、現在は一部のクリエイター向けに限定公開されている。