跳到正文
IFAI

开源项目

Netflix 开源 ID-V2V:只换场景风格,保留人物长相与表情

首次发布 传播指数 48

Netflix 旗下团队发布视频框架 ID-V2V。用户只需修改一帧画面,就能将新风格与灯光扩散到整段视频,同时锁定人物长相、微表情和口型不走样。系统最高可输出 720p 视频,但主模型体积近 80GB,本地运行门槛较高。

图:eyeline-labs.github.io

ID-V2V 是 Netflix 旗下 Eyeline Labs 开源的视频重绘框架。它的用处很明确:你只需要修改视频里的某一个关键帧,就能把新的画风、场景与灯光无缝扩散到整段视频,同时牢牢锁死演员原有的长相、眼神、微表情和口型同步。

以往用 AI 给视频换画风,最让人头疼的就是人脸变形,或者说话时口型和神态完全崩掉。ID-V2V 支持单人和多主体场景,除了大幅度的风格替换,它还能直接当成视频重打光工具来用,只改变光影走向,完全不破坏原有的画面结构。

不怕首帧画歪,单视频自制训练对

在实际工作流里,很多人会用 NanoBanana 这类图像工具去改第一帧。但修图模型改出来的画面,往往连人物的原始姿势和表情都微调了,导致第一帧和原视频对不上。

ID-V2V 对此做得很聪明。它的第一帧会忠实呈现你修改后的关键帧,但从第二帧开始,算法就会自动纠偏,把人物的表情、姿态和视线强行拉回原视频的表演节奏,根本不需要你手动修出一张像素级对齐的完美关键帧。

更关键的技术突破在训练思路上。现实中几乎不可能抓到同一个演员在不同画风下做一模一样表演的成对视频,传统方法靠人脸关键点或特征编码去约束,细节往往极其僵硬。

团队把生成任务拆成了两部分:关键帧管场景合成,原视频管身份锚定。他们把原片人脸抠出来,用打光模型转成普通光照,再训练模型反向恢复原本的电影级布光,顺带补全被遮挡的背景与身体。靠这种把身份保护转化成重打光问题的解法,单段普通视频就能自己生成完美的训练配对。

720p 输出上限与 80GB 本地门槛

在规格方面,ID-V2V 目前最高支持输出 720p 分辨率的视频。对于分镜预演、概念设计或短视频测试已经够用,但离影视成片的精度要求还有差距。

真正的门槛在于硬件配置。ID-V2V 的主模型体积接近 80GB,普通笔记本或入门显卡完全吃不消,只有高端消费级显卡或专业工作站才能在本地跑起来。

目前 Eyeline Labs 已经在 GitHub 上开放了完整的项目说明与本地运行指南,开发者可以直接拉取代码上手配置。

为什么重要

对后期特效团队和独立创作者来说,ID-V2V 真正有价值的地方在于保住了演员的表演灵魂。过去换光影或改画风往往意味着大动干戈的重拍或繁琐的逐帧修图,现在只要打磨好一张关键帧,就能把整段视频的视觉基调重做一遍,还不破坏演员微妙的眼神与口型。

不过,接近 80GB 的庞大身躯和 720p 的分辨率限制,意味着它现阶段更适合有高配硬件的专业工作室做前沿探索。我们认为,只有等开源社区推出轻量化蒸馏版本、把分辨率推向 1080p 甚至更高时,这种精确可控的视频重绘工具才会真正成为影视工业的基础设施。

来源 (1)

  1. [1]
    eyeline-labs.github.io(在新标签页打开)原文eyeline-labs.github.io

每日 AI 内容精选