Warp-as-History：僅靠單個影片微調，就能精準控制 AI 運鏡軌跡

想讓 AI 生成的影片嚴格按照導演意圖運鏡，一直是個吃力不討好的技術活。過去團隊要麼給大模型掛上一堆臃腫的相機編碼器和控制外掛，要麼就得耗費海量標註資料重新訓練。

來自上海交通大學、上海人工智慧實驗室和上海市創新策源研究院的研究團隊換了個思路，提出了名為 Warp-as-History 的新方法。它最大的亮點在於，甚至不需要改動原本的影片底模架構，僅用一個帶相機標註的影片進行輕量 LoRA 微調，就能在完全陌生的場景裡精準聽從運鏡指揮。

把運鏡偽裝成「前情提要」

以往要控制影片生成視角的移動，通常得在模型旁邊單獨搭一條控制分支。但 Warp-as-History 發現，主流影片生成模型本身就具備「根據上一段畫面繼續往下拍」的上下文能力。

研究團隊因此做了一個極其討巧的設計：既然模型擅長順著歷史畫面生成，那就直接把目標相機軌跡引起的視角形變，打包偽裝成模型上一幀的「視覺歷史」。說白了，就是騙模型以為當前的運鏡位移只是前一秒剛剛發生過的記憶。

運鏡轉到全新角度時，鏡頭盲區必然會出現畫面空白。Warp-as-History 的處理方式很乾脆，直接把沒有真實畫面觀測的無效 token 丟棄掉，剩下的空白完全交給預訓練模型原有的通用常識去自然補全。

為什麼單靠一個影片就夠了

更有意思的是，在完全不微調的凍結基座模型上，把形變當作歷史輸入進去，模型就已經表現出了某種本能般的零樣本跟隨能力。

既然基座已有雛形，後面的訓練就變得極輕。團隊只需要用一段帶有精準相機軌跡標註的影片，做一次離線的 LoRA 引數微調。

這次微調的目的不是讓模型學習新的畫質或運鏡風格，而是幫它校準分寸：什麼時候該嚴格跟隨已知畫面的形變證據，什麼時候該放手讓生成器自己腦補新出現的動態和背景。測試顯示，這個輕量 LoRA 能夠無縫泛化到從未見過的全新場景和複雜軌跡上，甚至能結合第一幀影像和鍵盤輸入，做到類似 Genie 3 的即時互動操控。

為什麼重要

我們認為這項研究最聰明的地方，在於它沒有跟模型的原生結構對著幹，而是順水推舟利用了基座模型原本就擅長的歷史上下文通路。

對於獨立開發者和影片創作者來說，這意味著運鏡控制的算力門檻被大幅拉低。以後想讓某個開源影片模型聽話運鏡，大機率不再需要等待官方重訓複雜的控制模組，自己找一條標定好的短片掛個輕量 LoRA，就能調教出符合預期的運鏡工具。

在行業層面，它為互動式世界模型提供了一條極其高效的輕量化路徑。類似 HappyOyster 或可互動環境探索的研發成本，可能因此出現明顯下降。

不過這項技術也有天然邊界。由於它本質上依賴單幀向未來視角的幾何拉伸，在面對極其劇烈的超大視角轉彎、或者前景主體大面積遮擋時，生成畫面的長效一致性依然很考驗底層模型本身的腦補功底。