リアルタイム人型動画生成「FlowAct-R1」発表　25fpsで無制限長の対話を実現

現在のデジタルヒューマンによるライブ配信の多くは、あらかじめ録画された動作をループさせているか、視聴者のコメントに答えるまでに数秒の不自然な沈黙が発生するのが常でした。

遅延を抑えつつ、長時間の配信でも顔や動作が崩れないリアルタイム動画生成は、技術的な難所とされてきました。研究チームが発表した「FlowAct-R1」は、まさにこの課題の解決を目指したモデルです。

公開されたデータによると、FlowAct-R1 は 480p の解像度において 25fps のリアルタイムストリーミング生成を達成しています。最初のフレームが出力されるまでの初期遅延（TTFF）は約 1.5 秒に抑えられ、さらに時間制限なしの無限生成が可能です。

人間の主観評価テストでも、リアルタイム性、長時間の安定性、動作の自然さの各項目で既存の SOTA 手法を上回る評価を獲得しています。

重い拡散モデルをリアルタイム駆動させる工夫

高品質な動画を生成できる Diffusion Transformer（DiT）ですが、全アテンションを計算する構造上、リアルタイムの対話処理には重すぎました。

FlowAct-R1 は、自己回帰的適応を通じてベースとなる DiT をストリーミング自己回帰型モデルへと変換。さらに多段階の拡散蒸留を組み合わせることで、推論ステップを劇的に削減しました。

リップシンクのずれや体の硬さを解消するため、音声と動作の共同ファインチューニングを採用。声のトーンに合わせて口元だけでなく、自然な身振りや頭の動きが連動します。

長時間の動画生成で頻発するキャラクターの崩れに対しては、推論時に構造化メモリバンクを導入しました。

参照メモリ、長期・短期メモリ、ノイズ除去ストリームを組み合わせ、チャンク単位の生成とメモリ洗練を行うことで、何時間生成し続けても顔や姿勢の一貫性を保ち続けます。

なぜ重要か

FlowAct-R1 の本質的な価値は、静止画の綺麗さではなく、実用的な対話遅延を徹底して追求した点にあります。

480p という解像度は大画面には控えめですが、25fps で遅延約 1.5 秒というスペックは、スマートフォン上でのライブコマースやカスタマーサポートにとって極めて実用的です。高画質でも反応が鈍いアバターより、素早く自然に相槌を打てるアバターのほうが、対話体験としては圧倒的に優れています。

配信者や企業にとっては、事前に長時間の動画を作り込む必要がなくなり、完全に自律したリアルタイム対話配信を常時稼働させる道が開かれます。

業界全体にとっても、デジタルヒューマンの競争軸が「オフラインレンダリングの美しさ」から「低遅延なストリーミング生成」へと本格的にシフトするきっかけになるでしょう。

課題となるのは運用コストです。自己回帰モデルを低遅延で回し続ける計算リソースが、商用サービスとして大規模に同時展開した際にどこまで抑えられるかが、今後の普及の鍵を握ります。