跳到正文
IFAI

AI科研

新框架 CoInteract 亮相:只需兩張圖,生成不穿模的帶貨影片

首次發布 傳播指數 36

研究人員公佈影片生成框架 CoInteract,輸入一張人物照和一張產品圖即可生成帶貨影片。它引入雙流協同生成架構,在處理畫素的同時專門約束人手與物體的幾何接觸,解決了手部崩壞和穿模問題,讓電商內容批次生成更逼真。

新框架 CoInteract 亮相:只需兩張圖,生成不穿模的帶貨影片
圖:arxiv.org

想拍一段博主手拿新品展示的帶貨短影片,以前哪怕只是十幾秒,也得找人、寄樣機、搭光、對指令碼、一條條重拍。

用現有 AI 生成影片雖然省事,但一碰到「拿東西」這種動作就原形畢露:手指要麼多長了一根,要麼直接穿透了瓶子,商品在手裡忽大忽小,完全沒法當作真正的廣告來用。

研究人員公佈了一項名為 CoInteract 的影片生成框架(部分技術社群也稱為 Co-InAct),專門來解決這個頑疾。你只需要給它兩張參考圖:一張人物照、一張產品圖,再加上文字提示詞或者語音音訊,它就能生成一段人物拿著該產品進行介紹的逼真影片。

讓手指不再穿透商品

AI 生成人與物體互動(HOI)影片時,最頭疼的就是兩個毛病:一是手和臉等敏感部位結構容易變形,二就是手與物體之間沒有物理接觸約束,動不動就發生穿模或懸空。

CoInteract 搭建在 Diffusion Transformer(DiT)底座之上,用了兩個很聰明的架構設計來打補丁。

第一個設計是空間監督的人體感知混合專家模型(Human-Aware MoE)。它會把畫面中的 token 分發給輕量化、專門負責特定區域的專家模組。換句話說,手部和麵部這種精細區域有專門的專家盯著,幾乎不增加多少計算開銷,就把細節結構保住了。

第二個關鍵創新是空間結構協同生成(Spatially-Structured Co-Generation),也就是雙流協同訓練。一條流專門跑常規的 RGB 畫素外觀,另一條流作為輔助,專門負責建模人與物體互動的幾何結構關係。

在模型訓練時,結構流會時刻對照畫素流,約束共享的主幹網路權重,教模型理解手到底是怎麼抓住物體的。而在最終推理出片時,這條輔助結構流可以直接拿掉,做到零額外計算負擔就能輸出正常影片。

按步驟下指令,批次生成營銷內容

除了物理邏輯站得住腳,CoInteract 在互動控制上也做得相當靈活。使用者可以在提示詞裡按步驟拆解動作指令,模型會嚴格按照先後順序生成連續的展示動作。

加上它同時支援文本與語音音訊作為引導條件,人物在介紹產品時的口型和動作節奏也能更好地配合。

測試結果顯示,比起現有的主流影片擴散模型,CoInteract 在結構穩定性、動作邏輯一致性以及互動真實感上都有顯著提升。電商團隊不必再忍受手指溶進杯子或盒子憑空漂浮的劣質畫面。

為什麼重要

對於中小電商賣家和內容創作者來說,這類工具如果落地成產品,做營銷影片的成本會被直接打下來。以前僱帶貨網紅、寄樣品、拍開箱的高昂週期,未來可能只需要兩張清晰的產品白底圖和形象授權照,幾分鐘內就能批次跑出幾十套不同風格的口播切片。

但在我們看來,這類技術也是一把雙刃劍。最直觀的衝擊就是基層網紅和腰部開箱博主,如果品牌方只要靜態肖像權就能低成本量產影片,真人出鏡的商業價值會被嚴重稀釋。

技術層面上,CoInteract 的思路非常聰明。它沒有硬堆引數去賭通用模型自己學會物理常識,而是用輔助結構流在訓練階段給模型立規矩,推理時又果斷扔掉輔助分支保持輕量,這種工程取捨很值得同類研究借鑑。

不過,目前 CoInteract 還停留在學術論文階段,尚未開放現成的網頁服務或開源權重。對於普通創作者來說,要想真正用上無穿模的商品生成工具,還得等這套方案被整合進主流商業生成工具之後。

來源 (1)

  1. [1]

每日 AI 內容精選