Netflix 開源 ID-V2V:只換場景風格,保留人物長相與表情
Netflix 旗下團隊釋出影片框架 ID-V2V。使用者只需修改一幀畫面,就能將新風格與燈光擴散到整段影片,同時鎖定人物長相、微表情和口型不走樣。系統最高可輸出 720p 影片,但主模型體積近 80GB,本地執行門檻較高。
ID-V2V 是 Netflix 旗下 Eyeline Labs 開源的影片重繪框架。它的用處很明確:你只需要修改影片裡的某一個關鍵幀,就能把新的畫風、場景與燈光無縫擴散到整段影片,同時牢牢鎖死演員原有的長相、眼神、微表情和口型同步。
以往用 AI 給影片換畫風,最讓人頭疼的就是人臉變形,或者說話時口型和神態完全崩掉。ID-V2V 支援單人和多主體場景,除了大幅度的風格替換,它還能直接當成影片重打光工具來用,只改變光影走向,完全不破壞原有的畫面結構。
不怕首幀畫歪,單影片自制訓練對
在實際工作流裡,很多人會用 NanoBanana 這類影像工具去改第一幀。但修圖模型改出來的畫面,往往連人物的原始姿勢和表情都微調了,導致第一幀和原影片對不上。
ID-V2V 對此做得很聰明。它的第一幀會忠實呈現你修改後的關鍵幀,但從第二幀開始,演算法就會自動糾偏,把人物的表情、姿態和視線強行拉回原影片的表演節奏,根本不需要你手動修出一張畫素級對齊的完美關鍵幀。
更關鍵的技術突破在訓練思路上。現實中幾乎不可能抓到同一個演員在不同畫風下做一模一樣表演的成對影片,傳統方法靠人臉關鍵點或特徵編碼去約束,細節往往極其僵硬。
團隊把生成任務拆成了兩部分:關鍵幀管場景合成,原影片管身份錨定。他們把原片人臉摳出來,用打光模型轉成普通光照,再訓練模型反向恢復原本的電影級布光,順帶補全被遮擋的背景與身體。靠這種把身份保護轉化成重打光問題的解法,單段普通影片就能自己生成完美的訓練配對。
720p 輸出上限與 80GB 本地門檻
在規格方面,ID-V2V 目前最高支援輸出 720p 解析度的影片。對於分鏡預演、概念設計或短影片測試已經夠用,但離影視成片的精度要求還有差距。
真正的門檻在於硬體配置。ID-V2V 的主模型體積接近 80GB,普通筆記本或入門顯示卡完全吃不消,只有高階消費級顯示卡或專業工作站才能在本地跑起來。
目前 Eyeline Labs 已經在 GitHub 上開放了完整的專案說明與本地執行指南,開發者可以直接拉取程式碼上手配置。
為什麼重要
對後期特效團隊和獨立創作者來說,ID-V2V 真正有價值的地方在於保住了演員的表演靈魂。過去換光影或改畫風往往意味著大動干戈的重拍或繁瑣的逐幀修圖,現在只要打磨好一張關鍵幀,就能把整段影片的視覺基調重做一遍,還不破壞演員微妙的眼神與口型。
不過,接近 80GB 的龐大身軀和 720p 的解析度限制,意味著它現階段更適合有高配硬體的專業工作室做前沿探索。我們認為,只有等開源社群推出輕量化蒸餾版本、把解析度推向 1080p 甚至更高時,這種精確可控的影片重繪工具才會真正成為影視工業的基礎設施。
來源 (1)
- eyeline-labs.github.io(在新分頁開啟)原文eyeline-labs.github.io