跳到正文
IFAI

AIGC

Luma 推出 Ray3 Modify:用首尾帧生成过渡视频,还能保留真人演技

首次发布 传播指数 40

Luma 发布视频模型 Ray3 Modify,已上线 Dream Machine 平台。它支持输入首尾两帧来生成中间的过渡镜头,还能在替换角色外观的同时,保留原素材中演员的动作、眼神与情绪。创作者无需重新实拍,就能用 AI 随意更换布景与服装。

图:techcrunch.com

做视频后期的人最怕两件事:一是演员演得好好的,甲方突然说服装不对或者背景要换;二是镜头拍短了,转场接不上,只能硬切。

以前遇到这种情况,要么拉着剧组重拍,要么把镜头丢进 AI 里撞大运,结果往往是连演员的表情和眼神都被洗掉了。

由 a16z 支持的视频与 3D 生成公司 Luma 正式发布了新模型 Ray3 Modify。这个模型的核心卖点就一个:在大幅修改画面的同时,把真人演员的演技给完整留下来。

换掉衣服和脸,但眼神和节奏还在

传统的视频生成模型表现力很强,但最大的痛点是不可控。只要你敢让 AI 重画,演员脸上的微表情、视线和动作节奏大概率就变形了。

Luma 称 Ray3 Modify 解决了保留真人表演的难题。创意团队只要给一段实拍素材,再加上一张角色参考图,模型就能把原片里的真人替换成目标角色。

更关键的是,演员原有的肢体动作、表演节奏、眼神方向以及情绪传达都会被完整保留。跨镜头的服装细节、角色长相和身份特征也能保持一致。

按照 Luma 联合创始人兼 CEO Amit Jain 的说法,创作者现在可以用相机先拍下真人表演,然后直接用 AI 把他们搬到任何想象中的场景、换上新衣服,甚至完成补拍,而不需要真正拉剧组返工。

定好头尾两帧,转场不再靠猜

除了换人和换装,Ray3 Modify 还给创作者加了一个很实用的功能:首尾帧过渡生成。

创作者只需要提供画面的起始帧和结束帧,模型就会根据两张图自动生成中间的过渡镜头。

这对于导演把控转场镜头、微调人物走位,以及确保不同分镜之间的连贯性来说非常实用,不用再为了两秒钟的衔接画面不断碰运气抽卡。

目前这个新模型已经在 Luma 的 Dream Machine 平台上向用户开放。Luma 曾在 2025 年 6 月首次推出视频修改功能,一直在和 Runway、Kling 等对手较劲。

技术的背后也是大笔资金的注入。就在 11 月,Luma 刚公布了一轮 9 亿美元的新融资,由沙特公共投资基金旗下的 AI 公司 Humain 领投,a16z、Amplify Partners 和 Matrix Partners 继续跟投。他们还打算和 Humain 一起在沙特建一个 2GW 的 AI 超级计算集群。

为什么重要

我们认为,Ray3 Modify 代表了生成式视频赛道一个非常清晰的转向:从「纯凭空生成」转向「接入传统工业流水线」。

对于中小制作团队、独立导演或品牌广告团队来说,这个功能极具实用价值。大家不再需要为了改个方案把演员和场地重新租一遍,先用低成本实拍定下表演和情绪,剩下的全交给 AI 调色、换景、换衣服,创作试错成本会断崖式下跌。

在行业竞争上,Runway 和 Kling 都在抢专业创作者的桌面。纯文本生成视频的玩具属性太强,只有把动作、视线、首尾帧这种精确到像素级的控制权还给导演,专业影棚才可能真正把它当成生产工具。Luma 这次切中痛点,会逼着其他对手在可控编辑上更快交卷。

但从目前来看,这种做法也有隐患。虽然它保留了演员的表演,但当真人神态被套上虚拟面孔或虚拟服装后,如何界定演员本人的肖像与表演版权,很快会成为影视行业要面对的新麻烦。不过单从工具本身来看,把实拍表演与 AI 渲染深度绑定的路线,走得相当聪明。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选