Adobeが実験的生成AI技術を公開：動画の生成塗りつぶしや動くドレスなど11種

動画の中の特定オブジェクトを消したりテクスチャを差し替えたりする作業は、これまで膨大な時間を要するロトスコープの手作業でした。

今年の「Adobe MAX Sneaks」では、俳優兼コメディアンのアダム・ディヴァインが司会を務め、アドビの研究者たちが写真、動画、音声、3D、ベクターデザインを刷新する実験的な生成AIプロトタイプを相次いで披露しました。

1フレームの修正が動画全体に連動、本物の動くドレスも登場

セッションで最も注目を集めたのが「Project Fast Fill」です。Photoshopの「生成塗りつぶし」を動画編集に応用した技術で、動画の1フレーム上で対象を選び、テキスト指示でテクスチャを変更すると、複雑な陰影や表面の動きに合わせて動画全体のフレームへ自動的に反映されます。

会場を沸かせたハードウェア連動の展示が「Project Primrose」です。研究者のクリスティーン・ダークが登壇時に着用したインタラクティブなドレスは、柔軟な反射型ディスプレイ素材で作られており、ボタン操作ひとつでAdobe IllustratorやFireflyで作成した幾何学模様へと瞬時に着せ替えられます。

音声と解像度の分野では、動画や音声を話者の声質、抑揚、部屋の反響を保ったまま70以上の言語と140以上の方言へ自動吹き替えする「Project Dub Dub Dub」が公開されました。さらに、拡散モデルを用いて低解像度動画を高精細に復元する「Project Res Up」も披露されています。

フォント制作から3Dの壁を取り払うベクターAI

フォント制作の手間を劇的に減らすのが「Project Glyph Ease」です。デザイナーが手描きなどでわずか3つの文字スタイルを作成するだけで、AIが残りのアルファベット全体を一貫したベクターフォントとして自動補完します。

手描きのラフスケッチからベクターアートを生成する「Project Draw & Delight」に加え、Illustratorには「Firefly Vector Model」が導入されます。Adobe Stockの数千万点に及ぶベクターデータで学習されており、バラバラのパスではなく、編集可能なレイヤーと最小限のアンカーポイントで構成された実用的なベクターデータをテキストから直接出力できます。

さらに、複雑な3Dツールを学ばずに2Dデザインへ遠近法を取り込める「Project Neo」、写真内の被写体を自動認識して自由に動かせる「Project Stardust」、異なるカメラワークで撮影された人物と背景を影の整合性まで取って合成する「Project Scene Change」など、多彩な研究成果が並びました。

なぜ重要か

私たちは、アドビの今回のアプローチは非常に現実的かつ巧みであると考えています。世の中の多くの生成AIが「文章から一枚絵や動画を全自動出力する」ブラックボックス型に向かうなか、アドビはクリエイターの「手直し」に焦点を絞っています。

プロの現場において、クライアントワークで一発OKが出ることはほぼありません。文字を打ち直す、動く被写体のロゴだけを差し替える、アンカーポイントを微調整するといった部分的な修正作業こそが日常です。AIをベクターパスやタイムライン、音声の波形といった編集可能な単位に分解して組み込んでいる点が、他社に対する大きな防壁になっています。

もちろん、Sneaksで披露された技術の多くは研究段階のプロトタイプであり、すぐに製品版へ搭載されるわけではありません。しかし、面倒な下準備や反復作業だけをAIに肩代わりさせ、表現の主導権を人間の手に残すという方向性は、クリエイティブ業界にとって極めて堅実な進化の道筋を示していると言えます。