跳到正文
IFAI

AIGC

Token Dial 亮相:用滑桿連續調節影片,煙霧濃淡、動作幅度拉一下就行

首次發布 傳播指數 41

影片生成控制框架 Token Dial 公開論文。它無需重新訓練主模型,讓使用者能通過滑桿連續調節外觀與動作強度,比如煙霧多濃、車速多快。最值得關注的是,它用連續引數替代了靠提示詞碰運氣,讓影片生成的精細控制變得可行。

Token Dial 亮相:用滑桿連續調節影片,煙霧濃淡、動作幅度拉一下就行
圖:arxiv.org

用 AI 跑過影片的人大概都有過這種抓狂的經歷:畫面裡的爆炸挺逼真,但你想要「更濃更烈」的黑煙;或者主角的動作太僵硬,你希望他跳得更激烈一點。

現在的常規做法,就是不斷在提示詞里加形容詞,比如「massive smoke」「heavy explosion」,然後點生成碰運氣。運氣不好,不僅煙沒變多,連畫面裡的人和背景都變樣了。

一項名為 Token Dial(論文中寫作 TokenDial)的研究框架公開了論文,試圖把這種靠玄學抽卡的體驗,變成拉滑桿一樣簡單的物理操作。

像調音臺一樣拉動影片引數

Token Dial 解決的問題非常直接:給文生影片模型裝上連續可調的「滑桿」。

你想讓爆炸的煙霧更濃,輸入提示後拉一下滑桿,煙霧就逐漸變厚;想讓篝火更藍,拖動滑桿,火焰顏色就慢慢偏向冷色調。

除了調外觀,它還能調動作。比如讓畫面裡的車開得更快,或者讓一個人的舞蹈動作幅度從輕微搖擺變成激烈擺動,只要往右拖動滑桿就能實現。

傳統提示詞調整最大的毛病,是很容易「牽一髮而動全身」——為了加點菸,畫面主體可能直接換了張臉,背景結構也跟著崩掉。Token Dial 的優勢就在於,它在增強目標屬性的同時,能很好地保住主體的身份一致性、背景穩定性以及時間上的連貫性。

往視覺 Token 裡注入微小偏移

要做到這種連續調節,研究團隊並沒有去重訓龐大的影片生成底座模型,而是抓住了模型內部的生成機制。

他們發現,在預訓練影片模型中間層的時空視覺 patch-token 空間裡,加法偏移實際上構成了一條語義控制方向。也就是說,只要沿著特定方向施加微小的 token 偏移量,就能連續且可預測地改變畫面屬性。

團隊利用預訓練的理解訊號來學習這些偏移:外觀屬性依靠語義方向匹配,動作幅度則依靠運動大小縮放。因為不用動主幹網路,這種做法極大地減輕了部署和訓練負擔。

目前研究團隊已經放出了論文,專案頁面上也預留了程式碼按鈕,後續還計劃開放訓練程式碼、預訓練模型權重以及 Hugging Face 線上試玩 Demo。

為什麼重要

影片生成模型發展到現在,生成一段高畫質、好看的 5 秒切片已經不算難事,真正卡住專業創作者的,一直都是「精細可控性」。商業製作需要的是「煙霧增加 30%」「動作幅度加大一倍」這種明確的調節,而不是換一條提示詞重新抽十次。

Token Dial 給出的思路很聰明。它沒有試圖去重新定義模型架構,也沒有要求創作者從頭訓練一套重型工具,而是在現有擴散模型的潛在空間裡找語義方向。這種輕量插拔的設計,很容易被整合到現有的影片生成工具流裡。

不過,目前該專案還停留在論文和早期開源階段,具體的開原始碼與互動 Demo 仍在準備中。對於創作者來說,真正的考驗在於這種滑桿在複雜多主體場景下是否依然精準,會不會在極端拉滿數值時出現畫面畸變。如果它能順利落地進商業軟體,影片 AI 生成才算真正從「玩具」走向了可用的「生產力工具」。

來源 (1)

  1. [1]

每日 AI 內容精選