Snap 推出 Set-and-Sequence：單段影片即可定製角色與動作

教 AI 畫一隻你家的小狗很容易，但要教它學會小狗特有的甩頭動作，之前幾乎行不通。

在影像時代，大家習慣用幾個畫面做個性化微調，模型只要記住長相就行。可影片不一樣，很多東西的靈魂不是長相，而是動作。Snap Research 最近拿出了一項新研究，試圖解決文生影片裡的這個老難題，他們把這種兼具長相和動作的物件叫作「動態概念」。

把長相和動作拆成兩頭算

傳統的靜態個性化只盯外觀，但動態概念必須同時吃透外觀和動作。

Snap Research 的思路很巧妙，他們做了一個叫 Set and Sequence 的框架，在基於 DiT 的影片生成模型裡建立了一套時空權重空間。

說白了，他們把一個動態概念直接拆成了兩個部分。一部分是 Set，也就是把影片抽成一堆亂序的靜態幀，專心用來代表長相。另一部分是 Sequence，也就是連貫播放的完整影片，用來專門記錄動作。

訓練也順理成章分成了兩步。第一步是 LoRA 集合編碼，先拿那堆亂序圖片去訓練 LoRA，讓模型先把外觀死死記住。

第二步是 LoRA 序列編碼。這時候團隊把第一步學出來的 LoRA 基底直接凍結住，再去連貫影片上跑訓練，用新學到的係數去疊加增強。這樣一來，模型既不會把剛學會的長相搞亂，又能順理成章地把這套招牌動作學到手。

為什麼重要

在影片生成領域，大家過去微調模型總會遇到一個兩難：要麼動作學到了但臉崩了，要麼臉認準了但動起來千篇一律。

Snap 這次聰明的地方，在於看穿了外觀和動態在特徵空間裡的互斥性。很多團隊試過把影片當成一個整體硬塞給模型去擬合，往往顧此失彼。Snap 把無序影像和時序動態解耦，先鎖死靜態底子再疊加動態係數，從工程邏輯上顯得非常乾淨。

對創作者來說，這項技術的實用價值顯而易見。如果以後這項能力落地，你只要拿一段自己寵物或者特定角色的日常小影片，就能讓 AI 在全新場景裡一邊保持原貌，一邊做出它標誌性的招牌動作，甚至把特定角色的動作遷移到其他物體上。

不過就目前公開的成果來看，這依然停留在學術論文與演算法驗證階段，暫時沒有開放普通人能隨手用的工具或外掛。此外，從單段影片裡解耦動作和外觀到底能在複雜背景下做到多幹淨，也是未來真正產品化時需要面對的考驗。