快手公佈 Kling Omni Director:把參考影片的運鏡直接克隆給新畫面
快手 Kling 團隊本週推出 Omni Director 研究預覽。它不再依賴文本提示詞調鏡頭,而是能直接學習參考影片的運鏡軌跡、切鏡節奏甚至子彈時間特效,並驅動新圖片生成影片。目前該功能尚未正式開放使用。
玩過 AI 影片生成的人都懂這種痛苦:你想要一個電影級的航拍推進,或者《駭客帝國》那樣的子彈時間,但在提示詞裡打上「鏡頭緩緩向前並伴隨微仰」,生成出來的畫面不是在原地抽搐,就是鏡頭直接飛向太空。
用文字指揮鏡頭,從來就不是人類習慣的視聽語言。本週,快手 Kling 團隊丟出了一個叫 Omni Director 的研究預覽專案,打算把這個彆扭的互動徹底推翻。
它的邏輯非常直接:別寫文字了,直接扔給它一段你喜歡的參考影片。
連切鏡節奏和鏡頭畸變一起抄過來
Omni Director 的工作流程很簡單,輸入一段帶有特定鏡頭運動的參考影片,再給它一張全新的靜態圖片,模型就會把參考影片裡的運鏡軌跡完整提取出來,驅動這張新圖生成影片。
這和以前常見的平移、拉近完全不是一個量級。它學的不只是機位往哪走,連高難度的專業攝影手法也能照搬,比如極其考驗排程的航拍俯衝、經典的滑動變焦(Dolly Zoom)、子彈時間,甚至連超廣角鏡頭特有的魚眼畸變都能復刻出來。
更讓人意外的是它對剪輯節奏的理解。在官方演示裡,參考影片如果包含了兩個不同景別的切鏡,生成的影片也會在對應的時間點同步切鏡。
比如一段摩托車騎手從第三人稱拉遠、再突然切到第一人稱視角的參考片段,Omni Director 能把一模一樣的運鏡和分鏡結構,套用到一隻在天空中翱翔的雄鷹身上。甚至有海外創作者在測試中發現,一段從電影《狂暴女神》借來的重型搖臂鏡頭,也能原汁原味地搬到完全不相干的畫面裡。
當然,作為早期的研究成果,它現在偶爾也會出點 bug。例如外媒 Theoretically Media 就提到,在某個演示片段裡,畫面中的人物動作意外跟背後的螺旋槳葉片同步了。但整體呈現出來的運鏡穩定度,已經足夠讓影片創作者感到興奮。
為什麼重要
我們認為,AI 影片生成的競爭焦點正在從「畫面清晰度」轉向「導演級控制力」。
以前做影片生成,鏡頭完全是在開盲盒,創作者只能靠玄學提示詞一遍遍抽卡。Omni Director 這種參考控制邏輯,等於給創作者發了一把精準的標尺。無論你在實拍廣告、經典電影還是遊戲錄屏裡看到驚豔的運鏡,都能直接作為母版復刻。
對普通創作者和專業分鏡師來說,這會極大地壓低鏡頭實驗的試錯成本。以前需要專業搖臂、穿越機甚至複雜三維軟體才能算出來的機位,現在只要找對參考片段,喂一張圖就能跑通動態預覽。
不過需要提醒的是,Omni Director 目前還只是快手 KwaiVGI 團隊的研究預覽專案。雖然頁面上放了程式碼按鈕,但官方並沒有放出國行模型權重或程式碼,普通使用者暫時還摸不到。業內猜測這類能力大機率會像之前的 Omni 特性一樣,在 Kling 後續的大版本迭代中正式實裝。但這記訊號彈已經打響:未來的 AI 導演,拼的就是誰更懂運鏡。
來源 (1)
- theoreticallymedia.com(在新分頁開啟)原文theoreticallymedia.com