跳到正文
IFAI

AIGC

阿里釋出 Prompt Relay:免訓練即插即用,讓 AI 影片無縫切換多場景

首次發布 傳播指數 41

阿里巴巴公佈影片生成技術 Prompt Relay。這是一種免訓練的即插即用方案,通過在交叉注意力層動態路由各時間段的提示詞,讓老鷹飛翔到賽博城市等跨度巨大的場景能自然過渡,避免畫面概念互相串擾。目前官方已釋出實施說明,程式碼檔案尚未完全放出。

圖:gordonchen19.github.io

如果你試過用一段長提示詞生成連續影片,大機率踩過這種坑:剛寫完「主角在森林漫步」,後面緊接著「鏡頭切到宇航員登月」,生成的影片往往直接變成四不像,宇航員手裡可能還莫名其妙攥著一根樹枝。

AI 影片模型最頭疼的痛點之一,就是多個事件在時間線上的語義串擾。4 月 11 日,阿里巴巴公佈了一項名為 Prompt Relay(提示詞接力)的影片生成控制技術,試圖用極輕量的方式解決這個問題。

提示詞像交接棒一樣換位

傳統影片擴散模型拿到一段長提示詞時,往往分不清哪句話該管哪一秒,最後只能把所有概念一股腦全攪和在畫面裡。

Prompt Relay 的做法非常形象,就像田徑場上的 4x100 米接力賽。你給模型輸入一系列和具體起止時間繫結的提示詞,它在推理時把它們有序分配給不同的時間片段。

比如在官方給出的演示裡,影片前兩秒還是一隻老鷹在天空中展翅高飛,緊接著無縫切換到賽博朋克風格的城市街道上飛馳的汽車,最後鏡頭從客廳的電視螢幕徐徐拉遠。

甚至在另一個更講究運鏡的測試中,畫面裡的人把手伸向鏡頭遮擋視野,拿開手的瞬間,背景已經從繁華都市自然切換成了荒涼沙漠。

在這些畫面跨度極大的例子裡,過渡處不僅沒有出現畫面撕裂,而且前一個場景的元素絕不會意外漏到下一個場景裡。

不動權重、不加算力的底層戲法

最讓同行眼前一亮的是,這套技術既不需要重新訓練模型,也不需要改動網路架構,算是一個純粹的即插即用推理技巧。

它的核心秘密藏在擴散模型的交叉注意力層。研究團隊在計算注意力分數時,直接植入了一個基於時間距離的懲罰項。

簡單來說,系統先給每個提示詞劃定專屬的啟用時間視窗。在這個視窗的核心區域,注意力完全不受限制,提示詞能夠毫無保留地指導畫面生成。

一旦時間軸超出這個視窗向兩端延伸,系統就會根據時間差平滑施加懲罰,讓該提示詞的注意力權重迅速衰減接近於零。

這樣一來,屬於第 5 秒的提示詞就絕對不會在第 1 秒產生干擾,而在兩個時間段相交的邊界,權重的自然衰減又能保證畫面過渡平穩連貫。

目前該專案已經上線了專案主頁併發布了實施說明,不過核心程式碼檔案尚未完全放出,官方預計還要等待數日才會完整開源。

為什麼重要

對於影視創作者和獨立開發者來說,這項技術直接擊中了多鏡頭敘事的命門。

過去要想用 AI 做出連貫的鏡頭切換,往往需要分別生成單個片段,再放進剪輯軟體里加轉場或者反覆跑圖拼接,耗時耗力且難以保證光影風格統一。如果 Prompt Relay 這種免訓練補丁能普遍生效,創作者在一條提示詞管道里就能精確排定分鏡節奏。

更值得稱讚的是阿里巴巴團隊在技術路線上的剋制。近來不少團隊為了做精準時空控制,要麼去微調大型介面卡,要麼堆疊龐大的控制網路,推理成本直線上升。Prompt Relay 卻完全聚焦在注意力分數的數學懲罰上,幾乎不帶來額外的計算開銷。

不過我們認為,它在落地時依然面臨實際考驗。這種基於硬性時間視窗的衰減策略,在面對老鷹變汽車這種純場景轉場時效果極佳;但如果遇到需要跨越全程的主角保持一致性、同時周圍環境持續更替的複合敘事,單純切斷交叉注意力可能會連同角色特徵一起抹掉。它到底能在多大程度上適配複雜的工業管線,還得等程式碼全面放開後接受社群的壓力測試。

來源 (2)

  1. [1]
    gordonchen19.github.io(在新分頁開啟)原文gordonchen19.github.io
  2. [2]

每日 AI 內容精選