跳到正文
IFAI

AIGC

Luma AI 推出 Modify Video:保留動作神態,一鍵替換影片角色與場景

首次發布 傳播指數 40

Luma AI 推出影片編輯功能 Modify Video,能在保留人物動作、表情和鏡頭運動的前提下,一鍵替換場景、光影或角色。它提供三種控制預設,盲測在連貫性與運動保留上優於 Runway V2V。目前已在 Dream Machine: Ray 2 上線,單次最長支援 10 秒。

Luma AI 推出 Modify Video:保留動作神態,一鍵替換影片角色與場景
圖:lumalabs.ai

過去在影視製作裡,要想把一個坐在車庫裡的人搬進太空飛船,基本等於重拍一遍。要不老老實實拉綠幕、做動捕,要不就得在後期軟體裡逐幀摳圖、重新打光。對於小團隊來說,這種改動往往意味著時間和預算的直接超支。

Luma AI 正式推出了名為 Modify Video 的影片重繪功能。它直接內建在自家的 Dream Machine: Ray 2 模型中,核心邏輯很簡單:牢牢鎖住原片裡的表演和運鏡,把剩下的背景、材質甚至角色本身全換掉。

鎖住表演,周圍的世界隨便換

傳統的文生影片工具大多像在開盲盒,只要稍微改動提示詞,原有的動作、表情和機位往往就跟著全亂了。Modify Video 換了一種思路,它優先提取原影片中的全身姿態、面部微表情、口型對齊以及鏡頭運動軌跡。

這意味著你可以拿一段普通手機拍攝的人物走位,把演員直接替換成三維數字怪物,或者把白天的街道瞬間變成暴雨傾盆的賽博朋克夜景。因為動作訊號被固定住了,新畫面不會出現詭異的瞬移和肢體扭曲。

針對細節修補,它還支援區域性編輯。不需要綠幕和跟蹤點,創作者可以直接圈出服裝改顏色、調整人物年齡,或者單單在天空中加一個飛碟。

為了平衡自由度和穩定性,Luma 提供了三種結構化預設。Adhere 模式主要用於微調材質和紋理,嚴格貼合原片結構;Flex 模式在發揮模型想像力的同時保留關鍵元素;Reimagine 模式則徹底放開限制,支援把人類動作直接對映成非人生物或超現實實體。操作上也不強制寫提示詞,直接丟參考圖或首幀就能跑,原生支援 16:9 的 720p 格式。

在外部盲測中,評分員在不知曉生成工具的前提下,將 Modify Video 與業內標杆 Runway V2V 進行了對比。Luma 表示,新功能在動作保留、面部動畫自然度和時間連貫性上均壓過了 Runway。

為什麼重要

我們認為,AI 影片的競爭焦點正在從單幀畫面的驚豔程度,迅速轉向連續時間軸上的精確控制力。純粹靠提示詞抽卡的玩法已經見頂,真正能進入工作流的,必須是聽話的工具。

對創作者和獨立團隊來說,這套功能最直觀的價值是概念預演和方案提案。以前跟客戶溝通創意需要耗費數天建低模、做灰模動畫,現在導演自己對著鏡頭演一遍,套上預設就能在幾分鐘內生成多套不同風格的成品樣片,溝通成本被大幅打掉。

Luma 聰明的地方在於沒有強迫使用者去學習複雜的節點圖或控制網格,而是通過三個清晰的預設檔位,把複雜的擴散模型潛空間控制封裝成了直觀的滑塊體驗。

不過限制也顯而易見。目前該功能單次最長僅支援 10 秒,輸出解析度也停留在 720p。它足夠勝任鏡頭預覽、動態分鏡和短影片特效,但如果想要直接輸出大銀幕級別的最終交付資產,依然需要配合後期的升取樣與精細合成。

來源 (2)

  1. [1]
    x.com(在新分頁開啟)原文x.com
  2. [2]
    lumalabs.ai(在新分頁開啟)報導lumalabs.ai

每日 AI 內容精選