跳到正文
IFAI

AIGC

阿里公佈 FashionChameleon:單卡 23.8 幀,影片生成中能即時互動換衣

首次發布 傳播指數 41

阿里巴巴公佈影片試衣框架 FashionChameleon。它允許在影片生成過程中即時互動式更換服裝,單卡生成速度達 23.8 FPS,並能保持人物動作與外觀連貫。最值得關注的是它僅靠單服裝資料訓練就實現了多套換裝。目前程式碼與模型尚未正式開放。

阿里公佈 FashionChameleon:單卡 23.8 幀,影片生成中能即時互動換衣
圖:arxiv.org

如果電商主播在直播間裡換衣服,能像按一下遙控器那樣快,線上試衣的邏輯可能就要徹底改寫了。

阿里巴巴公佈了一項名為 FashionChameleon 的即時影片定製框架。簡單來說,它就像一個直接嵌進影片流裡的即時數字衣櫥:只要給它一張人物模特圖和幾件衣服單品,就能在影片生成的同時,讓使用者即時點選切換服裝,而畫面裡的模特步伐不會亂、動作不會斷,也不存在傳統影片生成那種明顯的卡頓和等待。

邊看邊換,單卡跑出 23.8 幀

很多人對 AI 換裝的印象還停留在靜態圖片上,一旦放到影片裡,動作稍微大一點就容易崩壞,生成一條几秒鐘的片段還得等上半天。

FashionChameleon 最大的突破就是快。在單張 H200 顯示卡上,它基於 WAN2.2 跑出了 720p 解析度、每秒 23.8 幀的即時生成速度,幾乎就是正常影片播放的幀率。研究團隊公佈的資料顯示,這套方案比現有的基線模型快了 30 到 180 倍。

更難得的是連貫性。無論是整套衣服換掉,還是隻換上衣或下裝,人物在換裝前後都不會出現抽搐或跳幀。模型不僅能認清衣服的版型和質感,還能一直做長影片外推,讓人物在連續運動中自然過渡到下一套穿搭。

沒用多套服裝資料,全靠巧勁

要在連續影片裡換衣服,最直覺的做法是用海量「同一個人在同一段影片裡換多套衣服」的資料去訓練。但現實中根本沒有這麼多高質量的配對資料。

阿里團隊的解法很聰明,他們完全放棄了多服裝訓練資料,只用了最基礎的單件服裝影片。他們讓教師模型通過上下文學習去理解服裝和模特的對應關係,故意在參考圖和目標服裝之間製造不匹配,逼著模型自己學會如何在換衣服時保住動作連貫。

為了解決即時生成時的長影片畫質崩潰和延遲問題,團隊引入了流式蒸餾技術,配合梯度重加權的分佈匹配蒸餾,把原本沉重的計算量壓縮了下來。而在最關鍵的換裝瞬間,他們設計了一套免訓練的 KV Cache 重排程機制,包含衣服特徵重新整理、歷史特徵撤回和參考特徵解耦。不用重新微調模型,就能在流式生成中隨時塞入新衣服,直接把「邊看邊換」做成了現實。

目前阿里已經在專案頁面掛出了 GitHub 連結,計劃開原始碼和模型權重,但截至目前尚未正式開放下載。

為什麼重要

我們認為,FashionChameleon 展現的不僅是一項演算法突破,而是影片生成從「離線渲染」走向「即時互動」的關鍵一步。

對電商和直播行業來說,它的想像空間非常直接。過去的虛擬試衣是靜態看板,買家很難看出版型在走動、轉身時的動態垂墜感;而現在的 FashionChameleon 已經具備了單卡即時執行的能力,這意味著未來的直播帶貨或者線上商城,完全可能做到消費者點一件、數字人模特就立刻穿上走兩步。對於中小賣家和獨立設計師,製作動態商品穿搭影片的成本也會被直接打下來。

對行業而言,它避開昂貴的資料採集路線、純靠推理期快取排程和蒸餾提速的做法,給多模態影片互動提供了一個很輕巧的工程範式。當然,我們也要看到限制:單卡跑滿 23.8 FPS 依賴的是昂貴的高規格硬體,在普通消費級算力上能否穩定復現 720p 的流暢體驗,依然需要打個問號。但無論如何,能讓影片 AI 聽懂即時指令並在幾毫秒內接上動作,虛擬時尚離實用化顯然又近了一大步。

來源 (1)

  1. [1]

每日 AI 內容精選