TencentがSCoPE発表：0.1%未満のパラメータ追加でAI動画のカメラ制御を実現

AI動画を作ったことがある人なら、カメラワークが思い通りにならないもどかしさを知っているはずです。まっすぐ前に進めたいだけなのに不自然に傾いたり、カメラを一度横に振って戻すと、元の景色が別物に変わっていたりします。

今週、Tencentの研究チームは「SCoPE」（Sightline-Coordinate Positional Encoding）という新技術を発表しました。動画生成Transformer（DiT）に向けたカメラ制御手法で、追加パラメータはわずか0.1%未満に抑えられています。

カメラの「視線」を第2の住所にする

従来のAIモデルでは、生成前に3次元空間のどこに何が描かれるかが決まっていないため、カメラ座標を無理に与えると映像が破綻しがちでした。

SCoPEの着眼点はシンプルです。物体の位置を予測するのではなく、ユーザーが指定したカメラの視線（光線）を、各トークンの「第2の座標」として扱います。アテンション機構の中で視線同士がどう交わるかを計算させ、空間の整合性を保ちます。

この変更はNormalize-Gate-Injectという極めて軽量な仕組みで導入され、既存のRoPE（回転位置埋め込み）を完全に維持します。増えるパラメータは0.1%にも満たないにもかかわらず、5Bおよび14Bスケールのモデルにおいて、制御性と画質の両方が向上したと報告されています。

90度振り返っても景色が壊れない

使い方は、1枚の静止画と希望するカメラの移動軌跡を入力するだけです。引きながら上昇するショット、回り込みながらのプッシュ、S字カーブ、クレーンアップなど、指示通りの動きを高精度に再現します。デモではキーボードのWASDキーを使って、ゲームのようにカメラをリアルタイム操作する様子も公開されました。

特に目を引くのが「再訪時の一貫性」です。カメラが90度向きを変えてゲートをくぐり、再び元の方向を振り返っても、先ほど映っていた部屋や背景が崩れずにそのまま固定されています。

これは追加の記憶メモリを積んだからではなく、戻ってきたカメラが同じ視線座標を再利用しているため、幾何学的に必然として成立しています。コードはすでにApache 2ライセンスで公開されており、ローカルでの実行手順も案内されています。

なぜ重要か

カメラワークは映像演出の要です。これまでのAI動画はプロンプトによる「ガチャ」要素が強く、狙った構図の連続性を保つのが極めて困難でした。軌跡を直接指定できる仕組みは、映像制作の絵コンテ切りやプリビズ作業を大きく前進させます。

アプローチとしても極めて合理的です。大がかりな別ネットワークを追加したり、巨額のコストをかけてゼロから再学習したりするのではなく、既存のDiTにわずか0.1%未満の微細な調整を加えるだけで解決してみせました。

もっとも、現在は単一フレームからの展開が中心であり、激しく動く被写体との複合的な相互作用や、長時間のシーン遷移でどれだけ破綻を防げるかは今後の検証が必要です。それでも、実用的なカメラ制御への最短ルートを示す優れた一手といえます。