跳到正文
IFAI

AI科研

騰訊公佈 SCoPE:加不到 0.1% 引數,就能精準控制 AI 影片運鏡

首次發布 傳播指數 36

這週,騰訊研究人員公佈 SCoPE 運鏡控制技術。它把相機光線作為 token 的第二個座標,僅用不到 0.1% 的新增引數,就能讓影片模型嚴格遵循指定軌跡運鏡,轉頭再看也不會漂移,在 5B 和 14B 模型上均已驗證有效。

騰訊公佈 SCoPE:加不到 0.1% 引數,就能精準控制 AI 影片運鏡
圖:visual-ai.github.io

用 AI 生成過影片的人都知道,最讓人抓狂的往往不是畫質,而是不聽話的鏡頭。你讓它往前推,它可能給你來個傾斜漂移;更要命的是轉個彎再看回來,剛才那棟房子八成已經變異了。

這週,騰訊研究團隊公佈了一套名為 SCoPE 的運鏡控制技術,全稱是面向影片擴散 Transformer 的視線座標位置編碼。它沒有去大改底層模型,僅靠增加不到 0.1% 的引數,就讓影片模型乖乖按照預定軌跡運鏡。

把相機視線當成「門牌號」

以往讓 AI 影片聽指揮很難,核心癥結在於模型在生成畫面之前,根本不知道畫面裡的物體究竟在三維世界的哪個點上。強行喂相機位姿,模型很容易把幾何資訊和畫面內容搞混。

SCoPE 的思路很討巧:它不去猜具體的物體位置,而是把使用者指定的攝像機視線,直接當成每個 token 的第二個座標地址。這就好比先給空間拉好經緯線,不管生成什麼內容,視線方向是絕對錨定的。

在底層實現上,研究人員通過一組輕量的標準化、門控與注入機制,將視線幾何特徵合進了原本的注意力和鍵值計算中,同時完全保留了預訓練模型自帶的 RoPE 編碼。整套改動極度輕巧,新增引數不到 0.1%,但在 5B 和 14B 引數規模的模型上,控制精度和畫面質量都有明顯提升。

轉頭 90 度再轉回來,場景不穿幫

在實際效果上,只要給它一張靜態圖和一段相機運動軌跡,它就能生成穩定運鏡的影片片段。無論是向後拉遠並升高、推移橫掃、S 曲線推進,還是經典的搖臂上升,畫面都會死死咬住設定好的路徑。演示中甚至支援通過鍵盤的 WASD 鍵,像打遊戲一樣即時操控第三人稱運鏡。

更讓人眼前一亮的是它自帶的「重訪一致性」。鏡頭向右轉 90 度穿過一扇大門,然後再原路轉回,之前看到過的場景依然穩穩固定在原地,完全沒有漂移變形。

研究團隊指出,這種一致性是座標系本身帶來的幾何必然,並不需要外掛額外的長期記憶機制。目前該專案的程式碼已經按 Apache 2 許可證開源,包含了本地部署和執行的完整說明。

為什麼重要

鏡頭語言是影視敘事的骨架。過去創作者在 AI 影片裡反覆抽卡,很大程度是因為運鏡全靠提示詞玄學抽獎。SCoPE 這種能吃進精確軌跡的方案,讓真正可控的分鏡設計和 3D 概念預演邁出了紮實的一步。

我們認為騰訊這一步走得相當聰明。很多團隊為了做相機控制,要麼外掛一個沉重的控制網路,要麼耗費巨資全量重訓。SCoPE 像做了一場微創手術,用極低的算力門檻把空間幾何塞進了現成的 DiT 架構裡,價效比極高。

不過也要看到,它目前的驗證主要集中在單圖起手和規範軌跡上。面對複雜的多主體動態互動或者長影片跨鏡頭敘事,這套輕量幾何編碼能不能扛住更復雜的現實場景考驗,還得看開源社群接下來的壓力測試。

來源 (2)

  1. [1]
    visual-ai.github.io(在新分頁開啟)原文visual-ai.github.io
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選