VFX Creator 框架：給靜態圖做特效，時間和位置都能精準控制

想讓一張靜止的照片動起來，比如讓桌上的可樂罐突然爆炸、把好友的照片變成融化的冰淇淋，現在的影片模型基本能做到。但問題是，你很難控制它到底在第幾秒炸，更管不住它炸的時候會不會把旁邊的人臉也一起炸歪。

最近公開的 VFX Creator 就是奔著解決這種失控感來的。這是一套基於影片 Diffusion Transformer 的特效生成框架，配合開源的 Open-VFX 資料集，主打的就是把視覺特效的時空控制權搶回來。

像剪輯師一樣定點、定時

傳統的文生影片或者圖生影片像在開盲盒，特效什麼時候發生全憑運氣。VFX Creator 的思路很簡單：把控制拆成空間和時間兩條線。

在空間層面，研究團隊做了一個即插即用的掩碼控制模組。說白了，就是結合了 ControlNet 和 LoRA，使用者圈出哪個物體，特效就只作用在哪個例項上，背景和其他物體完全不受影響。

時間層面的控制更加細膩。他們把特效動作的起始和結束時間戳做成了 token，直接塞進文本編碼器和擴散過程中，或者用時間掩碼與時間步嵌入相結合。

這樣一來，你可以直接告訴模型，讓懸浮效果從第 8 幀也就是第 1 秒開始，一直持續到第 24 幀也就是第 3 秒結束。從演示看，它比 CogVideoX、LTX-Video 以及 Pika 等工具展現出了更規整的節奏感。

為了訓練這套機制，團隊還拿出了 Open-VFX 資料集，一口氣打包了 15 種常見的趣味與影視特效。這其中包括壓扁、融化、充氣膨脹、洩氣、切蛋糕化、爆炸，甚至還有變身黑毒液或小丑女等複雜變形效果，而且涵蓋了人物、動物、商品和場景等多種主體。

為什麼重要

我們認為，VFX Creator 最聰明的地方在於沒有去重頭硬卷一個龐大的底模，而是通過輕量級的 LoRA 介面卡來給現有模型打補丁。對於特效師和獨立創作者來說，以往做一個定點爆破或區域性融化，要麼在三維軟體裡耗費數小時搭資產，要麼用 AI 反覆抽卡，效率極低。如果能直接在靜態概念圖上圈選範圍、掐準秒數生成預覽，影視概念設計和短影片製作的門檻會被大幅拉低。

從行業角度看，這也給開源影片生成模型指明瞭方向。大模型的通用畫質提升正在撞上邊際效應，接下來誰能提供精確到幀、精確到畫素級的工業級編輯介面，誰才能真正被專業管線接納。

不過隱患也顯而易見。目前資料集僅覆蓋了 15 種預設特效，一旦使用者需要現實工業流程中極其冷門的物理破碎或複雜煙霧，現有的 LoRA 泛化能力大機率還會捉襟見肘。如何從有限的 15 種預設走向開放指令集，是它接下來必須面對的硬仗。