TeleStyle 開源:用參考圖或提示詞給圖片影片一鍵換風格
研究團隊釋出風格遷移模型 TeleStyle,支援通過參考圖或文本為影像和影片賦予特定畫風。該模型基於 Qwen-Image-Edit 構建,藉助課程持續學習與專用的影片模組,在套用新風格時仍能保證畫面內容和幀間連貫性。目前程式碼與預訓練模型已開源。

把一張照片改成動漫風或者水彩風,在現在的 AI 工具裡並不稀奇。但如果你試過把一段影片整段換畫風,往往會遇到兩個災難:要麼原畫面裡的人臉和結構全被衝散了,要麼每一幀之間的畫面狂閃,根本沒法看。
研究團隊開源了風格遷移模型 TeleStyle。它針對的就是這個痛點,不僅支援單張圖片換風格,還能把一整段影片逐幀處理成漫畫、維多利亞時代、原子朋克或極簡主義等各種畫風,同時保證畫面裡的主體不走樣、影片不亂閃。
目前很多基於 Diffusion Transformer(DiT)的生成模型,在內部表徵裡都把「畫面內容」和「藝術風格」纏繞在一起,改風格時很難保住原始內容。TeleStyle 選擇直接站在巨人的肩膀上,基於 Qwen-Image-Edit 構建,借用了底模很強的內容保留和區域性編輯底子。
混合資料喂出的泛化力
要讓模型認識成千上萬種畫風,訓練資料是個大麻煩。如果全用人工精選的高畫質資料,種類肯定不夠;如果全抓網絡合成資料,模型又容易學偏。
團隊用了一套折中打法。他們先整理了一批風格明確的高質量資料集,又通過數千種真實世界的風格類別,合成了大量三元組樣本。然後,他們引入了一套「課程持續學習」框架,把乾淨的精選資料和帶有噪聲的合成數據混在一起,循序漸進地餵給模型。
這種訓練方式讓 TeleStyle 學會了舉一反三。即便碰到訓練集裡從來沒見過的刁鑽畫風,它也能只抓住參考圖的神韻,而不破壞原本畫面的線條和構圖。
專治影片抽搐
如果是處理影片,普通圖片模型直接逐幀生圖幾乎一定會閃爍。TeleStyle 專門做了一個 video-to-video 的風格化模組,在生成過程中約束幀與幀之間的時間連貫性。
不管是給它一張參考圖片,還是隻用文本提示詞描述想要的畫風,它都能把整段影片同步轉成對應的風格。測試資料顯示,TeleStyle 在風格相似度、內容一致性以及美學質量這三項核心指標上,都拿到了當下開源方案裡的頂尖水準。
目前該專案的程式碼和預訓練模型權重都已經對外公開,開發者可以直接下載測試。
為什麼重要
風格遷移這項技術聊了很多年,但在影片製作流水線裡一直很難真正落地。剪輯師和動畫創作者過去想把一段實拍素材轉成特定畫風,要麼依賴昂貴的商業外掛,要麼得忍受逐幀閃爍的瑕疵。TeleStyle 的開源,給個人創作者和小團隊提供了一個真正可用的本地化解決方案。
我們認為這項工作最聰明的地方,在於沒有從頭造輪子去訓一個龐大的多模態底座,而是借力開源生態裡成熟的 Qwen-Image-Edit。在內容編輯模型的基礎上去解耦風格和內容,不僅算力成本更可控,最終落地時的結構穩定性也更有保障。
不過,雖然模型本身號稱輕量,但處理高解析度影片時的視訊記憶體開銷依然是不可忽視的門檻。對於想在本地跑通長影片渲染的獨立創作者來說,硬體配置可能還得留出足夠的冗餘。但無論如何,能把參考圖風格精準移植到影片上且開源權重,這一步對開源視覺社群來說非常實在。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org