快手公布 Kling Omni Director:把参考视频的运镜直接克隆给新画面
快手 Kling 团队本周推出 Omni Director 研究预览。它不再依赖文本提示词调镜头,而是能直接学习参考视频的运镜轨迹、切镜节奏甚至子弹时间特效,并驱动新图片生成视频。目前该功能尚未正式开放使用。
玩过 AI 视频生成的人都懂这种痛苦:你想要一个电影级的航拍推进,或者《黑客帝国》那样的子弹时间,但在提示词里打上「镜头缓缓向前并伴随微仰」,生成出来的画面不是在原地抽搐,就是镜头直接飞向太空。
用文字指挥镜头,从来就不是人类习惯的视听语言。本周,快手 Kling 团队丢出了一个叫 Omni Director 的研究预览项目,打算把这个别扭的交互彻底推翻。
它的逻辑非常直接:别写文字了,直接扔给它一段你喜欢的参考视频。
连切镜节奏和镜头畸变一起抄过来
Omni Director 的工作流程很简单,输入一段带有特定镜头运动的参考视频,再给它一张全新的静态图片,模型就会把参考视频里的运镜轨迹完整提取出来,驱动这张新图生成视频。
这和以前常见的平移、拉近完全不是一个量级。它学的不只是机位往哪走,连高难度的专业摄影手法也能照搬,比如极其考验调度的航拍俯冲、经典的滑动变焦(Dolly Zoom)、子弹时间,甚至连超广角镜头特有的鱼眼畸变都能复刻出来。
更让人意外的是它对剪辑节奏的理解。在官方演示里,参考视频如果包含了两个不同景别的切镜,生成的视频也会在对应的时间点同步切镜。
比如一段摩托车骑手从第三人称拉远、再突然切到第一人称视角的参考片段,Omni Director 能把一模一样的运镜和分镜结构,套用到一只在天空中翱翔的雄鹰身上。甚至有海外创作者在测试中发现,一段从电影《狂暴女神》借来的重型摇臂镜头,也能原汁原味地搬到完全不相干的画面里。
当然,作为早期的研究成果,它现在偶尔也会出点 bug。例如外媒 Theoretically Media 就提到,在某个演示片段里,画面中的人物动作意外跟背后的螺旋桨叶片同步了。但整体呈现出来的运镜稳定度,已经足够让视频创作者感到兴奋。
为什么重要
我们认为,AI 视频生成的竞争焦点正在从「画面清晰度」转向「导演级控制力」。
以前做视频生成,镜头完全是在开盲盒,创作者只能靠玄学提示词一遍遍抽卡。Omni Director 这种参考控制逻辑,等于给创作者发了一把精准的标尺。无论你在实拍广告、经典电影还是游戏录屏里看到惊艳的运镜,都能直接作为母版复刻。
对普通创作者和专业分镜师来说,这会极大地压低镜头实验的试错成本。以前需要专业摇臂、穿越机甚至复杂三维软件才能算出来的机位,现在只要找对参考片段,喂一张图就能跑通动态预览。
不过需要提醒的是,Omni Director 目前还只是快手 KwaiVGI 团队的研究预览项目。虽然页面上放了代码按钮,但官方并没有放出国行模型权重或代码,普通用户暂时还摸不到。业内猜测这类能力大概率会像之前的 Omni 特性一样,在 Kling 后续的大版本迭代中正式实装。但这记信号弹已经打响:未来的 AI 导演,拼的就是谁更懂运镜。
来源 (1)
- theoreticallymedia.com(在新标签页打开)原文theoreticallymedia.com