跳到正文
IFAI

AIGC

阿里发布 Prompt Relay:免训练即插即用,让 AI 视频无缝切换多场景

首次发布 传播指数 41

阿里巴巴公布视频生成技术 Prompt Relay。这是一种免训练的即插即用方案,通过在交叉注意力层动态路由各时间段的提示词,让老鹰飞翔到赛博城市等跨度巨大的场景能自然过渡,避免画面概念互相串扰。目前官方已发布实施说明,代码文件尚未完全放出。

图:gordonchen19.github.io

如果你试过用一段长提示词生成连续视频,大概率踩过这种坑:刚写完「主角在森林漫步」,后面紧接着「镜头切到宇航员登月」,生成的视频往往直接变成四不像,宇航员手里可能还莫名其妙攥着一根树枝。

AI 视频模型最头疼的痛点之一,就是多个事件在时间线上的语义串扰。4 月 11 日,阿里巴巴公布了一项名为 Prompt Relay(提示词接力)的视频生成控制技术,试图用极轻量的方式解决这个问题。

提示词像交接棒一样换位

传统视频扩散模型拿到一段长提示词时,往往分不清哪句话该管哪一秒,最后只能把所有概念一股脑全搅和在画面里。

Prompt Relay 的做法非常形象,就像田径场上的 4x100 米接力赛。你给模型输入一系列和具体起止时间绑定的提示词,它在推理时把它们有序分配给不同的时间片段。

比如在官方给出的演示里,视频前两秒还是一只老鹰在天空中展翅高飞,紧接着无缝切换到赛博朋克风格的城市街道上飞驰的汽车,最后镜头从客厅的电视屏幕徐徐拉远。

甚至在另一个更讲究运镜的测试中,画面里的人把手伸向镜头遮挡视野,拿开手的瞬间,背景已经从繁华都市自然切换成了荒凉沙漠。

在这些画面跨度极大的例子里,过渡处不仅没有出现画面撕裂,而且前一个场景的元素绝不会意外漏到下一个场景里。

不动权重、不加算力的底层戏法

最让同行眼前一亮的是,这套技术既不需要重新训练模型,也不需要改动网络架构,算是一个纯粹的即插即用推理技巧。

它的核心秘密藏在扩散模型的交叉注意力层。研究团队在计算注意力分数时,直接植入了一个基于时间距离的惩罚项。

简单来说,系统先给每个提示词划定专属的激活时间窗口。在这个窗口的核心区域,注意力完全不受限制,提示词能够毫无保留地指导画面生成。

一旦时间轴超出这个窗口向两端延伸,系统就会根据时间差平滑施加惩罚,让该提示词的注意力权重迅速衰减接近于零。

这样一来,属于第 5 秒的提示词就绝对不会在第 1 秒产生干扰,而在两个时间段相交的边界,权重的自然衰减又能保证画面过渡平稳连贯。

目前该项目已经上线了项目主页并发布了实施说明,不过核心代码文件尚未完全放出,官方预计还要等待数日才会完整开源。

为什么重要

对于影视创作者和独立开发者来说,这项技术直接击中了多镜头叙事的命门。

过去要想用 AI 做出连贯的镜头切换,往往需要分别生成单个片段,再放进剪辑软件里加转场或者反复跑图拼接,耗时耗力且难以保证光影风格统一。如果 Prompt Relay 这种免训练补丁能普遍生效,创作者在一条提示词管道里就能精确排定分镜节奏。

更值得称赞的是阿里巴巴团队在技术路线上的克制。近来不少团队为了做精准时空控制,要么去微调大型适配器,要么堆叠庞大的控制网络,推理成本直线上升。Prompt Relay 却完全聚焦在注意力分数的数学惩罚上,几乎不带来额外的计算开销。

不过我们认为,它在落地时依然面临实际考验。这种基于硬性时间窗口的衰减策略,在面对老鹰变汽车这种纯场景转场时效果极佳;但如果遇到需要跨越全程的主角保持一致性、同时周围环境持续更替的复合叙事,单纯切断交叉注意力可能会连同角色特征一起抹掉。它到底能在多大程度上适配复杂的工业管线,还得等代码全面放开后接受社区的压力测试。

来源 (2)

  1. [1]
    gordonchen19.github.io(在新标签页打开)原文gordonchen19.github.io
  2. [2]

每日 AI 内容精选