アリババが「EMO」発表:1枚の静止画と音声から表現力豊かな歌唱・対話動画を生成
アリババの研究チームは音声駆動型ポートレート動画生成フレームワーク「EMO」を発表した。1枚の人物画像と音声(会話や歌唱)を入力するだけで、豊かな表情と自然な頭部動作を伴う動画を任意の長さで生成できる。早口な歌詞や絵画の人物の動画化にも対応する。
Midjourney、Sora、Veo、SunoなどAIによる画像・動画・音声・音楽生成の新モデルと新機能。
アリババの研究チームは音声駆動型ポートレート動画生成フレームワーク「EMO」を発表した。1枚の人物画像と音声(会話や歌唱)を入力するだけで、豊かな表情と自然な頭部動作を伴う動画を任意の長さで生成できる。早口な歌詞や絵画の人物の動画化にも対応する。
音声AIのElevenLabsはPerplexityとの提携を発表し、短尺デイリーポッドキャスト「Discover Daily」を公開した。Perplexityが収集・要約した最新の科学や技術ニュースをElevenLabsのAI音声で読み上げる仕組みで、主要ポッドキャストプラットフォームで配信中。
Sunoは有料プラン(Pro・Premier)向けに「V3 Alpha」の早期アクセスを開始した。最大2分の楽曲クリップ生成に対応し、音質と表現力の向上、インストゥルメンタル専用モード、過去曲の途中からの継続生成をサポートする。有料ユーザーにはテスト用に300クレジットが付与される。
Stability AIは画像生成モデル「Stable Diffusion 3」の早期プレビュー向けウェイトリストを公開した。800Mから8Bのパラメータ規模で展開され、Diffusion Transformerとフローマッチングを採用。苦手だった文字のスペル描写や複数被写体のプロンプト再現性を大幅に改善しており、一般公開前にフィードバックを募る。
俳優のウィル・スミスがInstagramで、昨年ネットで拡散された「AI生成のスパゲッティを食べる自分」を自らパロディ化した動画を公開した。OpenAIの動画生成AI「Sora」発表と重なり、AI動画の進化を測る「チューリングテスト」として話題を呼んでいる。
米マイクロソフトの広告・Webサービス担当CEOであるMikhail Parakhin氏がSNS上で、OpenAIの動画生成モデル「Sora」を将来的にCopilotへ統合する意向を示した。Soraはテキストから最大60秒の動画を生成できる。現在は技術面を整備中とみられ、具体的な提供時期はまだ明かされていない。
Stability AIは新たなテキスト画像生成モデル「Stable Cascade」の研究プレビュー版を公開した。Würstchenベースの3段階構造を採用し、同規模のStable Diffusionと比べて学習コストを16分の1に削減。コードもGitHubで公開されたが、非商用ライセンスとなる。
MidjourneyはWebブラウザ上で直接画像を生成できるサイトのアルファテストを開始した。累計1000枚以上の画像を生成したユーザーが対象となる。現在はデスクトップ向けを中心に開発が進められており、機能の安定に伴って順次アクセス権が拡大される予定だ。
Stability AIが画像から動画を生成するモデル「SVD 1.1」を発表した。SVD-XTをファインチューニングし、1024x576解像度で4秒間(25フレーム)の一貫した動画を生成できる。研究目的ではHugging Faceから無料でダウンロード可能で、商用利用には会員プランやAPI提供が用意されている。
Googleは実験場「AI Test Kitchen」にて音楽生成ツール「MusicFX」と作詞支援「TextFX」を一般公開した。テキスト指示から最长70秒の楽曲やループ音源を生成でき、SynthID透かしも埋め込まれる。著作権リスクを避けるため特定アーティスト名やボーカル生成は制限される仕様だ。
ロックバンド Guns N' Roses の新曲「The General」のミュージックビデオ制作手法が明かされた。制作スタジオは Unreal Engine で制作した下地映像を Stable Diffusion に読み込ませ、各フレームを再描画して悪夢のような質感を生成。AI を人間の代替ではなく表現を拡張するツールとして活用した。
Midjourneyはアニメ特化型画像生成モデル「Niji-Journey V6」の提供を開始した。複雑なプロンプトへの追従性が向上したほか、画像内への文字描画や「Style Raw」に対応。インペイントやズームなどの追加機能は2月に登場予定だ。
RunwayはGen-2向けに「Multi Motion Brush」の提供を開始した。静止画内の異なるエリアをブラシで塗り分け、それぞれ個別に移動方向や深度、強弱のスライダーを設定できる。単一方向しか動かせなかった制限が解消され、全ユーザーが利用可能。
Midjourneyはのオフィスアワーで、v6向けにズームやパン、インペイント機能を早ければ来週中にも再導入すると明かした。画風の一貫性をキャラクターの一貫性より先行して実装するほか、3D機能に先駆けて動画生成モデルの開発を進めているという。
Amazon は米国時間 1 月 17 日、Fire TV Omni QLED と第 2 世代 Fire TV Stick 4K Max 向けに「AI Art」機能の配信を開始した。Titan Image Generator を採用し、リモコンに話しかけるだけで水彩画や油絵など様々な画風のカスタム背景画像を一度に 4 枚生成して壁紙に設定できる。
MidjourneyのCEOであるDavid Holz氏はDiscordセッションで、1月から動画生成モデルのトレーニングを開始すると発表しました。あわせて来週からMidjourney v6の更新も行われ、テキスト描画やプロンプト追従性の改善に加え、インペイント機能などが順次復活します。
Pika Labsはテキストから動画を生成するAIプラットフォーム「Pika 1.0」をWeb上で一般公開した。簡単な指示文からアニメや映画風の動画を作れるほか、カメラワーク制御や画面内の物体編集にも対応する。生成結果に乱れが出ることもあるが、登録すれば誰でも無料で試せる。
Leonardo AIは、生成した静止画を動く動画へと変換できる新機能「Motion」の提供を開始した。ユーザーは動きの強度を好みに応じて調整でき、1回あたり25クレジットを消費する。無料枠でも1日約6本の動画を生成できるため、手軽に動きのあるビジュアル素材を作成できる。
Googleは、主流の拡散モデルではなく大規模言語モデル(LLM)アーキテクチャを採用したマルチモーダル動画生成モデル「VideoPoet」を発表した。テキストや画像からの動画生成、スタイル変換、音声生成を単一モデルに統合し、アーティファクトを抑えた10秒の一貫した大動作動画を生成できる。
画像生成AIのMidjourney v6が公開された。デフォルトでは有効になっていないため、/settingsからv6を選択するか、プロンプト末尾に「--v6」を付与する必要がある。初期テスト段階では生成速度が遅いと報告されている。