動画生成にTTTを導入：1分間の連続アニメーション生成に成功

現在のAI動画生成は、5秒程度のクリップなら美しく作れるものの、1分を超える長尺になると破綻しがちです。カットが変わるとキャラクターの見た目が変わり、部屋の間取りが崩れ、複数シーンにまたがるストーリーを描くのは困難でした。

研究者のXiaolong Wang（王小龙）氏らのチームは、テスト時トレーニング（Test-Time Training、TTT）を動画Diffusion Transformer（DiT）に組み込み、一貫性のある1分間のカートゥーン動画を生成する研究を発表しました。

隠れ状態そのものをニューラルネットにする

標準的なTransformerは、コンテキストが長くなると自己注意機構の計算コストが爆発します。一方で、Mambaなどの状態空間モデルやスライディングウィンドウ型のアテンションは計算が軽い反面、記憶できる情報量が少なく、複雑なシーン転換に耐えられません。

研究チームが採用したのはTTTレイヤーです。これはRNNのような再帰構造を持ちつつ、隠れ状態そのものを勾配降下法で随時更新する機械学習モデルとして扱います。

事前学習済みの50億パラメータ（5B）モデルにTTT層を組み込み、絵コンテ形式のプロンプトを入力したところ、1分間の「トムとジェリー」アニメーションを生成できました。ジェリーが台所でチーズを食べ、トムにいじわるされてスーツケースを持ってサンフランシスコへ家出し、トムが足跡を追って路地裏でチーズを差し出して仲直りする、という一連の流れを描き切っています。

人間による評価（各手法100本の動画）では、Mamba 2、Gated DeltaNet、局所アテンションなどのベースラインに対し、Eloレーティングで34ポイントの差をつけて上回りました。局所アテンションではトムの色が崩れたりジェリーの巣穴が消失したりしたのに対し、TTTは視点が変わってもキャラクターの一貫性を保ちました。

成果は見事だが課題も残る

とはいえ、今回のデモはあくまで概念実証の段階であり、画面には不自然な箇所も目立ちます。

3秒ごとのクリップの境目で箱の形が歪んだり、落ちるはずのチーズが空中に浮いたまま静止したり、トムが振り返った瞬間に台所の照明が急激に明るくなるといったアーティファクトが発生しています。研究チームは、5Bモデルの表現力の限界や実装の効率性に起因していると説明しており、計算資源の制約から今回は1分にとどまったものの、より長い尺への拡張も可能だとしています。

なぜ重要か

映像制作者にとって、現状のAI動画は数秒ごとの断片を引いて編集ソフトで繋ぎ合わせる作業になりがちです。TTTのアプローチが実用化されれば、脚本や絵コンテを一度渡すだけで、シーンを跨いだ長尺のアニメーションを破綻なく出力できるようになる可能性があります。

ただし、今すぐ商用ツールとして使えるわけではありません。物理法則の乱れやライティングの急変を見る限り、一般ユーザーが手を出して実務に組み込む段階にはまだ達していません。

それでも、計算量を抑えつつ記憶の表現力を引き上げる手法として、TTTは非常にスマートな落としどころに見えます。巨大な計算リソースで力押しするのではなく、推論時にモデルを適応させる設計が今後どこまで大規模モデルに波及するかが注目されます。