Adobe、Firefly Videoで透過背景動画の生成に対応

動画編集で最も手間がかかる作業のひとつが、グリーンバックのキーイングや輪郭の切り抜きです。Adobeはこの面倒な工程をAIで丸ごと省こうとしています。

Adobeは同社の動画生成モデル「Firefly Video」のWeb版において、背景が透過した動画（アルファチャンネル付き動画）の生成機能を公開しました。テキストからの画像生成と、画像からの動画生成の両方に対応しています。

わずか484クリップのLoRAから誕生

この機能は、Adobe Researchが関与して公開されたオープンソース技術「TransPixar」（後にTranspixelerと改名）をベースにしています。

特筆すべきはその効率性です。開発チームはわずか484本の学習用動画クリップとLoRA（Low-Rank Adaptation）を組み合わせるだけで、アルファチャンネル付きの動画生成を実現しました。

これにより、VFX用の素材やストック映像、ミーム動画などに使える動的エレメントを、切り抜き作業なしで手軽に作成できるようになります。

なぜ重要か

動画制作の現場において、背景が抜けたオーバーレイ素材は常に重宝されます。これまでは3Dソフトでレンダリングするか、実写素材から手作業でマスクを切る必要がありましたが、Firefly上で直接生成できれば制作時間は大幅に短縮されます。

また、大規模なモデルを一から学習し直すのではなく、わずか484クリップのデータとLoRA微調で実用的な機能を実装した点は非常に賢いアプローチといえます。特定用途に特化した生成AIの拡張において、効率的な開発手法のお手本となりそうです。

ただし、髪の毛のような細かなディテールや煙のような半透明オブジェクトの境界線がどこまで自然に処理できるかについては、実際の制作現場での検証が必要になりそうです。