アリババがFashionChameleon発表：動画生成中にリアルタイムで衣装を変更
アリババが動画試着フレームワーク「FashionChameleon」を発表しました。動画生成中にインタラクティブな着せ替えが可能で、単一GPU上で23.8 FPSのリアルタイム動作を実現しています。人物の動きを崩さずに衣装を切り替えられますが、コードやモデルは順次公開予定です。
画像・動画生成
Midjourney、Sora、Veo、SunoなどAIによる画像・動画・音声・音楽生成の新モデルと新機能。
新しいニュースを見る
ポール・ラッドら出演の実写×AI映画、カンヌ国際映画祭で上映へ
ダーレン・アロノフスキーがプロデュースし、ポール・ラッドとクリス・ロックが出演する実写とAIの融合映画が、来週のカンヌ国際映画祭でプレミア上映される。ダスティン・イェリンが監督を務め、実写映像とAI生成要素を組み合わせた。大物映画人の参加により、AIが主流の映画界へ本格進出する象徴的な動きとなる。
Resemble AI、台本形式で笑い声やため息まで演じ分ける音声モデル「DramaBox」公開
Resemble AI は表現力豊かな音声合成モデル「DramaBox」を公開した。脚本のように引用符内にセリフ、引用符外に感情やため息、笑い声などのト書きを書くだけで演技を細かく指示できる。音声クローンや改ざん耐性のある電子透かしに対応し、ローカル実行用のモデルも提供されている。
Krea、初の独自画像生成基盤モデル「Krea 2」を発表 画風制御に特化
Kreaはゼロからスクラッチ開発した初の独自画像基盤モデル「Krea 2」を発表した。サードパーティ製モデルの流用ではなく、美的表現の多様性と画風制御に特化して設計されている。ツール開発から自社モデル開発への転換点となり、現在早期アクセスを受け付けている。
「Pixal3D」公開：ピクセル整合で超高精度な3Dメッシュを画像から生成
単一画像から高精度な3Dモデルを生成する「Pixal3D」のコードが公開された。2Dピクセルと3D構造を直接対応付けるピクセル整合手法により、従来の曖昧な生成処理を大幅に改善。ゲームや映像制作にも耐えうる、実測再構成レベルの忠実な3Dメッシュを出力できる。
Google、新動画モデル「Gemini Omni」披露：対話型の動画編集に対応
Googleの新しいマルチモーダルモデル「Gemini Omni」が明らかになった。テキスト、画像、音声を組み合わせて物理法則に沿った動画を生成でき、自然言語による対話形式の動画編集にも対応する。まずは10秒生成に対応するOmni Flashから展開される。
アリババ、画像生成を4歩に短縮する「CDM」発表 画質を保ち5倍高速化
アリババは拡散モデルの生成速度を引き上げる新手法「CDM」を発表した。通常20〜50ステップかかるノイズ除去をわずか4ステップに短縮し、既存のDMD2で目立ったプラスチックのような質感の低下を防止。SD3やLongCatに対応し、手元のGPUでほぼリアルタイムに高画質画像を生成できる。
画像から2K動画を生成する「SwiftI2V」登場 RTX 4090単体で動作、計算時間を202分の1に
高解像度の画像・動画変換フレームワーク「SwiftI2V」が発表された。低解像度で動きの骨組みを作ってから条件付き分割生成を行うことで、最大81フレームの2K動画を出力できる。従来のエンドツーエンド手法と比べ計算時間を202倍短縮し、24GBのRTX 4090単体でも2K動画生成が可能になるという。
Video RebirthがBach 1.0公開：音声付きで最長30秒の複数カット動画を生成
新興企業のVideo RebirthがAI動画エンジン「Bach 1.0」を公開しました。最長30秒のネイティブ1080p動画と音声を同時に生成でき、カット間のキャラクター維持やカメラワークの指定に対応。Artificial Analysisで世界6位に初登場し、現在公式サイトで無料枠を試せます。
Microsoft、見下ろし型マップから探索可能な3D世界を生成する「Map2World」発表
Microsoftは上空からの分割マップとテキストから探索可能な3D世界を構築するAI「Map2World」を発表した。色分けしたエリアごとに四季や異なる景観を指定でき、建物のスケール感を保ったまま広大な3D空間を生成できる。
動画の法線や照明を同時生成する「UniVid-X」登場 背景差し替えや再ライティングも可能に
動画拡散モデルを活用したマルチモーダルフレームワーク「UniVid-X」が発表された。通常のカラー映像だけでなく、物体の地色や光の照射情報、表面法線、アルファチャンネルを同時に推定・生成できる。これにより、単一の動画から夕暮れの光を再現したり、前景・背景を高精度に差し替えたりする編集が可能になる。
ElevenLabsが音楽プラットフォーム「ElevenMusic」公開：生成・リミックスから収益化まで対応
ElevenLabsは独自開発の音楽モデルを採用した新プラットフォーム「ElevenMusic」を発表しました。楽曲の発見や生成、リミックスに加え、クリエイターが作品から直接収益を得られる仕組みを備えています。定評のある音声AIから音楽生成分野へと本格参入します。
アリババQwenが「Qwen-Image-2.0-Pro」公開、Arena画像生成世界9位に
アリババのQwenチームは画像生成モデル「Qwen-Image-2.0-Pro」を公開した。画質や多言語テキスト描画、指示追従性が向上し、評価プラットフォームArenaの文生図部門で世界第9位にランクインした。現在はModelScopeで試用できるほかAPIも提供されている。
Grok Imagineの画像・動画生成が進化、口パク精度と音質が大幅向上
Grok Imagineは画像から動画を生成する機能をアップデートし、リップシンクの精度と音声のクリアさを大幅に向上させたと発表した。台詞が口の動きに正確に連動し、シーンに合った音響表現が可能になる。
Ideogram、独自画像で学習できる「カスタムモデル」提供開始
画像生成AIのIdeogramはユーザー独自の画像データで追加学習できる「Custom Models」の提供を開始した。ブランド固有のアートディレクションや文字レイアウト、ビジュアルを一貫して出力できる。Team、Pro、EnterpriseプランおよびAPIで利用可能。
スマホ撮影で家全体を3D化、PlayCanvasベースのガウス・スプラッティングが話題に
PlayCanvasをベースにしたオープンソースの3Dガウス・スプラッティング技術により、スマホで撮影した住宅をブラウザ上でフォトリアルに内見できるようになりました。従来のポリゴンではなく無数の光の雲で描画し、動画並みの容量で動作します。スキャン費用は約200ドルに抑えられ、不動産向けの新ビジネスとしても注目を集めています。
OpenAI、「ChatGPT Images 2.0」公開 文字描写や多言語対応を強化
OpenAI は画像生成モデル「ChatGPT Images 2.0」を公開した。画像内のテキスト描写能力と視覚的推論が強化され、日本語や中国語、アラビア語など多彩な文字の描画に対応。写真やマンガ表現の精度も向上しており、ChatGPT 上で直接利用できる。
カメラの角度を数値で指定して画像を編集、3D視点を精密制御する「UniGeo」
カメラの視点を高精度に制御できる画像編集フレームワーク「UniGeo」が発表された。単一画像を3D幾何表現に変換し、角度や移動量を数値で指定してパンやチルトを行える。従来の生成AIで課題だった視点変更時の歪みを抑える技術で、モデルの公開も予告されている。
Google、GeminiにGoogleフォト連携の画像生成を追加 家族写真からクレイアニメ風画像を生成
GoogleはGeminiアプリにNano Banana 2とGoogleフォトを連携させたパーソナライズ画像生成機能を導入したと発表した。写真の手動アップロードや詳細な指示文を書かなくても、フォト内のラベル情報を参照して家族やペットを描いた画像を自動生成できる。現在は米国の有料会員向けに順次提供されている。
アリババATH、対話型3D世界モデル「Happy Oyster」のベータ版を発表
アリババの ATH チームは対話型 3D 世界モデル「Happy Oyster」のベータ版を発表した。マルチモーダル入力からリアルタイムに 3D 空間を構築し、プロンプトでキャラを操作して自由に移動できる。現在は公式サイトでウェイティングリストを受け付けている。