Adobeが「TransPixar」をオープンソース公開:透過背景のAI動画を直接生成
Adobe Researchと香港科技大学が動画生成モデル「TransPixar」を公開した。従来のAI動画が不透明な背景しか出せなかったのに対し、透過情報を持つRGBA動画を直接生成できる。煙や光といったVFX素材の合成が格段に容易になる。
TransPixarは、Adobe Researchと香港科技大学がオープンソースで公開した動画生成モデルです。目的は明確で、アルファチャンネル(透過情報)を含んだRGBA動画素材を直接生成することに特化しています。
従来のAI動画ツールを映像制作に使おうとすると、背景が必ず不透明で塗りつぶされて出力されるという大きな壁がありました。煙や光といったエフェクトだけが欲しくても、後から手作業で背景を切り抜く必要があり、実務での合成には使いにくい状態が続いていました。
何ができるのか
TransPixarはこの合成のハードルを取り払います。テキストプロンプトを入力するだけで、背景が透過された状態のVFXエフェクト動画を直接出力してくれます。
公開されたデモでは、立ち上るリアルな煙、放電するポータル、回転する小惑星帯などが紹介されています。半透明な気体や発光エフェクトの境界線が自然に透過処理されており、そのまま他の実写や背景素材の上に重ねることが可能です。
さらに、テキストからの動画生成だけでなく、静止画像を入力として透過エフェクトをアニメーション付加する機能も備えています。
仕組みと公開状況
Adobe ResearchのプロジェクトリーダーであるYijun Li氏がホワイトペーパーで指摘している通り、アルファチャンネルはVFX合成に不可欠ですが、透過付き動画のデータセットが極めて少ないため、既存モデルの転用は困難でした。
TransPixarは透過要素の学習を最適化することで、半透明の質感や光の反射を保ったまま、破綻のないフレーム単位のアルファチャンネル出力を実現しています。
現在、コードはGitHubで一般公開されており、開発者が検証できるようになっています。また、Hugging Face上にはブラウザから試せるインタラクティブなデモも用意されています。
ただし、本作はまだ初期の研究段階にあります。After EffectsやCinema 4Dのプラグインとして統合されているわけではなく、商用クオリティの解像度でそのまま書き出すツールには至っていません。
なぜ重要か
インディーゲーム開発者や個人映像クリエイターにとって、Hugging Faceのデモを触ってみる価値は十分にあります。煙や魔法効果といった定番アセットの制作コストを劇的に下げる可能性を秘めているからです。
多くの動画生成AIが映画のようなワンシーン全体の描写を競い合う中で、現場の合成ワークフローに目を向けたAdobeのアプローチは極めて実用的です。不透明な一枚絵から「重ねて使えるRGBAレイヤー」へのシフトこそ、AIがプロの制作パイプラインに定着するための鍵と言えます。
情報源 (1)
- creativebloq.com(新しいタブで開きます)原文creativebloq.com