跳到正文
IFAI

AIGC

Vanast 虛擬試穿新框架:一張照片換新衣服,直接生成連貫動畫

首次發布 傳播指數 41

虛擬試穿框架 Vanast 亮相。它只需輸入一張人物照片、服裝圖片以及人體骨架姿態影片,就能一步重構出穿著新衣的人物動態影片。它能較好保留面部特徵與體型,並支援上下裝與連衣裙等多種款式。目前程式碼尚未正式開源。

Vanast 虛擬試穿新框架:一張照片換新衣服,直接生成連貫動畫
圖:arxiv.org

網購衣服最怕什麼?大概就是買家秀和賣家秀的落差。在 AI 領域,虛擬試穿其實火了很久,但如果想讓靜態的人穿上新衣服走兩步,往往破綻百出。

研究人員公佈了名為 Vanast 的全新虛擬試穿框架。它的操作邏輯很簡單:你只需要給一張人物照片、衣服的圖片,再加上一段人體骨架動作影片,它就能一步生成一段穿著這件新衣服的人物流暢運動影片。

告別兩階段拼接,換裝和動效一步到位

在此之前,主流的虛擬試穿動畫大多采用「兩階段」做法。也就是先把新衣服通過影像試穿模型貼在照片上,再交給另一個動作驅動模型把靜圖變成影片。

這種拼積木的方式問題很大。兩道工序下來,人物往往走著走著臉就變了樣,衣服邊緣拉扯變形,一旦轉身甚至還會出現前後反差穿幫。

Vanast 放棄了這種割裂的流程,改用單一框架端到端完成合成。為了讓模型能學會複雜的換裝動態,研究團隊搭建了大規模的三元組監督訓練資料,既覆蓋了相同身份在不同服裝下的形態,也涵蓋了完整的上下裝搭配及自然場景。

在架構上,Vanast 針對影片 Diffusion Transformer 引入了雙模組(Dual Module)設計。這不僅穩住了生成畫面的質感,也讓模型在服飾細節對齊、動作跟隨和身份保持上更準確,甚至還支援服裝之間的零樣本插值過渡。

上裝下裝連體裙通吃,但還得等程式碼

從展示的實際效果來看,Vanast 的表現相當乾淨。輸入一張男士或女士的普通照片,換上一件新襯衫、一條褲子或裙子,人物在運動過程中的面部輪廓和體型比例幾乎沒有變形。

除了簡單的單件上衣或褲裝,它對整體連體連衣裙的處理也很自然,衣服的褶皺和擺動能夠隨著骨架動作協調變化。

不過需要提醒的是,目前該專案僅公開了論文,官方主頁標註程式碼即將推出,普通開發者和創作者暫時還無法直接下載部署。

為什麼重要

如果 Vanast 後續如約開源,受影響最大的無疑是電商與時尚內容製作領域。過去商家展示新款服裝必須僱傭模特實拍或租用綠幕影棚,而這類端到端影片工具一旦成熟,只需白底商品圖和一個標準的姿態模板,就能低成本批次生成商品展示影片。

從行業路線上看,這項研究給影片級虛擬試穿指明瞭一個關鍵趨勢:傳統的「換衣再動」兩步走思路正在被端到端聯合建模取代。跳過中間層的影像拼接,直接在影片潛在空間完成服裝與動作的融合,是解決閃爍和形變的有效路徑。

我們認為,Vanast 的技術切入點很聰明,通過高質量合成數據和針對性的 Diffusion Transformer 結構繞過了多模型串聯的累積誤差。但同時也要看到,這類技術目前依然嚴重依賴姿態骨架引導,並且論文展示與複雜的現實野生測試之間往往存在差距。等到程式碼正式開放後,它在極端大動作和複雜光影下的泛化能力,才是決定其實用價值的關鍵考驗。

來源 (1)

  1. [1]

每日 AI 內容精選