アリババ、追加学習なしで複数シーンをシームレスに繋ぐ「Prompt Relay」を発表

1本の長いプロンプトから複数シーンの動画を作ろうとして、前の場面の要素が次の場面に染み出してしまう現象に悩まされた人は多いはずです。「森を歩く人物」から「月面に降り立つ宇宙飛行士」へ切り替えたつもりが、宇宙服のまま森を彷徨うような不自然な混ざり合いが起こりがちでした。

複数の出来事を時間軸に沿ってどう順序立てて描くかは、動画拡散モデルの長年の課題です。アリババは4月11日、追加学習なしでこの問題を解消する新技術「Prompt Relay」を発表しました。

プロンプトをバトンタッチする仕組み

従来のモデルは、文章全体を一度に解釈しようとするため、動画のどの秒数にどの言葉を適用すべきかを厳密に区別できませんでした。

Prompt Relayはその名の通り、陸上競技のリレーのようにプロンプトを扱います。ユーザーが各プロンプトに対して開始時間と終了時間を指定すると、推論時にその時間帯だけ特定のプロンプトを有効化します。

公開されたデモでは、最初の数秒間で大空を飛ぶワシが描かれ、そこからサイバーパンク調の都市を疾走する車へと滑らかに切り替わり、最後はリビングのテレビ画面からカメラが引くという複雑な構成が見事に1本の映像として成立しています。

別の例では、人物がカメラを手で覆い、手を離すと背景が都会から砂漠へと自然に変わるトランジションも披露されています。前後の要素が変に干渉し合う様子はありません。

追加の計算負荷も学習もいらない設計

技術的に優れているのは、既存の動画生成モデルの構造を変えたり、大規模な追加学習を行ったりする必要がまったくない点です。

仕組みはクロスアテンション層の制御にあります。指定された時間枠の外側にあるトークン同士の結びつきに対して、時間距離に応じたペナルティ項を差し引くことで影響力を減衰させます。

割り当てられた時間帯の中心ではプロンプトが100パーセント反映され、区間の境界に近づくにつれて緩やかに影響度が低下するため、唐突な断絶を起こさずに綺麗なフェードが生まれます。

現在はプロジェクトページで実装説明が公開された段階で、コードの本体ファイルは近日中に順次公開される見通しです。

なぜ重要か

映像クリエイターや個人開発者にとって、1回の生成で複数のストーリー展開を描き分けられる実用的な武器になります。

従来はシーンごとに個別に動画を出力し、編集ソフトで繋ぎ合わせたりインペインティングを重ねたりする必要がありました。プロンプト側でタイムスタンプを打つだけで自然な転換ができるなら、試行錯誤のコストは大幅に下がります。

何より、重い外部コントロールモジュールを載せるのではなく、アテンションの計算式に小さな数式を挟むだけで済ませたアリババのアプローチは非常にスマートです。

ただし、場面転換にはめっぽう強い一方で、動画全体を通して同一人物の見た目を維持しながら背景だけをテンポよく変えたいような用途では、人物指定のプロンプトまで一緒に減衰してしまわないか懸念が残ります。実際の制作パイプラインでどこまで耐えうるかは、コードが完全公開された後のコミュニティ検証を待ちたいところです。