テンセントがEffectMakerを発表：動画の視覚効果を追加学習なしで複製

動画でキャラクターの顔がロボットに変形したり、背中から光る翼が生えたりする演出を作るには、従来なら熟練のCGクリエイターが何時間もかけてコンポジット作業を行うか、単一のエフェクトごとに専用のAIモデルを追加学習させる必要がありました。

テンセント混元チームはそうした手間を省く動画VFXカスタマイズ技術「EffectMaker」を発表しました。参考動画から視覚効果だけを直接抽出し、別の動画や静止画の被写体へクローン移植できる仕組みです。最大の特徴は、エフェクトごとの個別ファインチューニングが一切不要な点にあります。

推論するLLMと描画するDiffusionの二刀流

これまで動画生成AIにとって、煙や光の翼といった超自然的なVFXは極めて扱いづらい領域でした。学習データ自体が少ない上、被写体の動きに合わせて効果を自然に変形させるのが難しいためです。

EffectMakerは、この課題を「意味理解」と「視覚再現」の二重構造で解決しました。まずマルチモーダル大規模言語モデル（MLLM）がエフェクトの意味合いを読み解き、新しい対象人物や物体にどう適合させるべきかを推論します。

同時に、描画を担うDiffusion Transformer（DiT）がインコンテキスト学習を通じて、参考動画から細かな光彩やテクスチャの情報を取得します。この意味と視覚の連携メカニズムによって、追加のモデル学習を行うことなく、高精度なエフェクト合成を可能にしました。

13万本の合成動画で鍛えた専用データセット

未見のエフェクトでも即座に複製できるようにするため、テンセントはデータ基盤の構築にも注力しています。

同チームは13万本の動画と3000種類ものVFXカテゴリを網羅した合成データセット「EffectData」を独自に作成しました。公開されている高品質な特殊効果データセットとしては最大規模となります。

この膨大な基礎データがあることで、実験環境においても既存のベースライン手法を上回る視覚品質と、フレーム間での安定したエフェクト一貫性を達成したとしています。

なぜ重要か

映像クリエイターやSNSの動画編集者にとって、VFXのハードルが一気に下がる可能性があります。参考となる動画クリップを一本読み込ませるだけで同等の効果を再現できるようになれば、ポストプロダクションにかかる時間とコストは激減します。

業界全体で見ても、動画生成AIの競争軸は「テキストから映像を丸ごと作る」段階から、「既存の映像をいかに高精度に部分編集できるか」へ移行しています。テンセントが個別チューニングを廃し、推論と画像生成を分担させるアーキテクチャを選んだ点は、計算リソースを抑える意味でも極めて実用的です。

ただし、合成データ中心で訓練されているため、極端な逆光や激しい被写体のブレ、複雑な遮蔽物がある現実の撮影素材に対してどこまで破綻なく追従できるかは、今後の実用化に向けた検証課題と言えます。