本文へスキップ
IFAI

画像・動画生成

スライダーで動画の演出強度を直感調整 「TokenDial」が論文を公開

公開 拡散指数 41

動画生成モデルの属性をスライダーで連続制御できる新手法「TokenDial」の論文が公開された。モデルを再学習することなく、煙の量やダンスの激しさなどを直感的に調節できる。プロンプトの運任せを排し、狙い通りの表現を可能にする。

スライダーで動画の演出強度を直感調整 「TokenDial」が論文を公開
画像:arxiv.org

AIで動画を生成したことがある人なら、誰もが同じもどかしさを味わったことがあるはずだ。爆発の映像自体は悪くないのに「もっと黒煙を増やしたい」、あるいは人物の動きが硬いので「もっと激しく踊らせたい」と思ったとき、従来はプロンプトに形容詞を足して運を天に任せるしかなかった。

だが、言葉を少し変えただけで、煙が増えるどころか登場人物の顔や背景まで別物に変わってしまうのが常だった。3月29日に論文が公開された新フレームワーク「TokenDial」は、そうした運任せの生成を排し、スライダー操作で直感的に演出をコントロールすることを目指している。

見た目も動きもスライダーひとつで

TokenDialの使い道は極めて明快だ。動画生成モデルに、連続的に変化させられる「調節ダイヤル」を取り付ける。

例えば爆発のシーンなら、スライダーを右に動かすだけで煙の量だけが濃くなっていく。焚き火の炎をもっと青くしたい、オーロラをもっと明るくしたいといった色彩や質感の調整も、スライダーの引き具合で自在に指定できる。

調整できるのは外見だけではない。ダンスを踊る人物の動きの激しさや、走る車のスピードといった動作のスケールも同様にコントロール可能だ。従来のプロンプト変更と違って、被写体の同一性や背景、時間の連続性を崩すことなく、狙った属性だけを的確に強められるのが特徴だ。

ベースモデルを再学習させない巧みな仕組み

この連続制御を実現するために、研究チームは動画生成モデルを一から再学習させるような力技は採っていない。

彼らは、モデル内部の中間層にある時空間パッチトークン空間において、加算的なトークンオフセットが意味的な制御方向を形成している点に着目した。このオフセットの大きさを伸縮させるだけで、滑らかで予測可能な変化を生み出せるという。

外観の変更には意味方向のマッチングを、動作の変更には運動強度のスケーリングを用い、事前学習済みシグナルを活用してオフセットを学習する。現在論文が公開されており、プロジェクトページにはコード用ボタンが用意されているほか、モデルやHugging Faceのデモも順次提供される予定だ。

なぜ重要か

動画生成AIはすでに「綺麗な映像を出す」段階を終え、「狙い通りの絵をどうやって確実に作るか」という実用性のフェーズに入っている。映像制作の現場で求められるのは、十回引き直して偶然の一コマを待つことではなく、「煙を30%増やす」といった明確な操作だ。

TokenDialのやり方がスマートなのは、巨大な基盤モデル本体に手を加えず、トークン空間のオフセット調整という軽量なアプローチでこれを解決しようとしている点にある。既存の動画パイプラインに組み込みやすい設計だ。

現時点ではコードや体験デモの正式公開を控えた論文段階であり、複数の要素が入り混じる複雑な場面でどこまで破綻せずにスライダーが機能するかは検証が必要だ。それでも、動画AIが「ガチャ」から「実用ツール」へと進化するための着実な一歩であることは間違いない。

情報源 (1)

  1. [1]

毎日のAIピックアップ