テンセントが「ScriptAgent」公開、対話文から映画風動画を自動生成

AI動画モデルを使って短編作品を作ろうとしたことがある人なら、誰もが同じ壁にぶつかります。数秒の単発カットは息をのむほど美しくても、セリフで進む物語を作ろうとした途端、映像と文脈がバラバラになってしまう問題です。

テンセントはこの溝を埋めるべく、粗削りな対話テキストから映画風の連続映像を生成するフレームワーク「ScriptAgent」を発表しました。

制作現場を再現する3つのAIエージェント

ScriptAgentの特徴は、単一の動画生成モデルにすべてを任せるのではなく、役割を分担した仮想の制作クルーを組んだ点にあります。

システムは大きく3つのエージェントで構成されています。

まずは脚本担当のエージェントです。SFTとGRPOを用いて強化学習されており、大まかな会話テキストを受け取って、カメラワークや感情描写を含む詳細な撮影用台本へと落とし込みます。

続いてDirectorAgent（監督エージェント）が、外部の動画生成モデルを制御します。シーンをまたいだ連続生成をコントロールし、カットが変わっても物語の一貫性を保つ仕組みです。

最後にCriticAgent（批評エージェント）が、技術的クオリティと映画的表現の両面から仕上がりを評価してフィードバックを回します。

映像の派手さと忠実度のジレンマ

研究チームはSora2-Pro、Veo3.1、Wan2.6、テンセントのHYVideo1.5といった主要な動画モデルで実験を行いました。

その結果、この台本生成パイプラインを通すことで、すべてのモデルにおいて脚本への忠実度が最大0.4ポイント向上しました。

人間の専門家による評価でも、劇的緊張感のスコアが3.7から4.1へ、視覚的イメージのスコアが3.8から4.3へと大幅に改善しています。

さらに独自指標のVSAでも、時系列および意味の一貫性で7ポイント以上の伸びを記録しました。

興味深いのは、研究チームが現在の最先端モデルにおける根本的なトレードオフを指摘している点です。映像の派手さや見栄えを追うほど、脚本への厳密な従順さが犠牲になりやすい傾向が明らかになりました。チームはあわせて評価用ベンチマーク「ScriptBench」も公開しています。

なぜ重要か

動画クリエイターやインディー制作者にとって、単発のプロンプト入力から脱却し、まとまった尺のドラマ映像を作るための現実的な足がかりになります。

これまではカットごとにプロンプトを書き換え、キャラのブレを手作業で修正する膨大な手間がかかっていました。このワークフローが自動化されれば、制作負担は劇的に下がります。

業界全体で見ても、テンセントが自前の基盤モデル開発だけにこだわらず、他社モデルも束ねられるオーケストレーション層を取りにいった動きは賢い選択に見えます。

もちろん、下位の動画生成モデル自体の物理演算や描画の破綻までは完全にカバーしきれないという限界は残ります。

それでも、AI映画制作を「ひとつのモデル」ではなく「分業型エージェント」で解くというアプローチは、今後の業界標準になり得る筋の良い方向性です。