Meta、画像編集「Emu Edit」と動画生成「Emu Video」の研究成果を発表

AIで画像の一部分だけを直そうとして指示を出したら、顔の輪郭や背景の光まで丸ごと描き直されてしまった経験はないでしょうか。今の画像生成はプロンプトの微調整を何度も繰り返す手作業になりがちです。

Metaの研究チームはEmu EditとEmu Videoという2つの新たな生成AI技術を発表しました。どちらも9月のConnectで披露された画像基盤モデル「Emu」をベースにしています。

指示されたピクセル以外は触らない

Emu Editが目指したのは、指示通りの精密な画像編集です。従来のモデルは編集を加えようとすると全体を過剰に変えてしまうか、指示を十分に反映できない傾向がありました。

Metaのアプローチは明快で、指示に関係するピクセルだけを書き換えます。例えばベースボールキャップに「Aloha!」という文字を追加するよう頼んだ場合、キャップ自体の形や背景には一切手を加えない設計です。自然言語のプロンプトだけで、被写体の追加や背景の差し替え、色の変更、さらにはセグメンテーションなどのタスクまでこなします。

これを実現するため、Metaは1000万件の合成データセットを構築しました。入力画像、編集タスクの説明、期待される出力画像をセットにしたもので、16種類の画像処理タスクを網羅しています。この学習のおかげで、インペインティングのような新しいタスクにも少数の例だけで適応できるとされています。

5つのモデルを2つに圧縮した動画生成

動画生成のEmu Videoでは、プロセスの単純化が進められました。Metaが以前発表したMake-A-Videoでは5つのモデルを組み合わせる必要がありましたが、Emu Videoは2つの拡散モデルだけで動作します。

仕組みは2段階に分かれています。まずテキストプロンプトから静止画を生成し、次にその画像とプロンプトの両方を手掛かりに動きを生み出します。生成されるのは512×512ピクセル、毎秒16フレームの4秒間の動画で、実験では8秒の動画生成にも成功しています。テキストからの生成だけでなく、手持ちの静止画を動かすことも可能です。

Metaが開発した「JUICE」という人間による評価システムでは、従来のMake-A-Videoと比べて96%の評価者が画質面でEmu Videoを支持し、プロンプトへの忠実さでも85%の支持を得ました。Pika Labsとの比較でも95%以上のケースで高く評価されたとしています。

なぜ重要か

現時点でこれらは研究段階のマイルストーンであり、すぐに独立したツールとして誰でも使えるわけではありません。しかし、InstagramやWhatsAppを抱えるMetaがこれを実用化すれば、高度な編集ソフトを使わずに写真の不要な部分を消したり、自分だけの動くスタンプやGIFをチャット内で即座に作れるようになります。

私たちは、Metaが複雑化しがちだった動画生成パイプラインを2つのモデルに集約した点を非常に合理的だと考えています。画像編集においても、全体を綺麗に描き直すことよりも「指示外のピクセルを維持する」ことに焦点を絞ったのは、実務でAIを使いたいユーザーの不満を的確に捉えています。ただし、1000万件の合成データで学んだモデルが、光の反射やノイズが激しい現実の日常写真でどこまで破綻せずに動くかは、実際のプロダクトに載るまで見極める必要があります。