字節跳動推出 DMAD:4 步完成影片生成,提速數倍
字節跳動釋出視覺生成對抗蒸餾方法 DMAD。它把原模型當作教師,通過分佈匹配訓練僅需 4 步去噪的學生模型。該方法適配 MiniMax-H3、Wan2.1 等架構,將原本 20 至 30 步的影片生成流程大幅壓縮,畫質不減。
字節跳動釋出視覺生成對抗蒸餾方法 DMAD。它把原模型當作教師,通過分佈匹配訓練僅需 4 步去噪的學生模型。該方法適配 MiniMax-H3、Wan2.1 等架構,將原本 20 至 30 步的影片生成流程大幅壓縮,畫質不減。
研究人員開源 FixAnything,利用影片擴散模型修補 3D 渲染中的瑕疵。無論是 3DGS、NeRF 還是網格,一旦在新視角下出現空洞與漂浮噪點,它都能借助影片先驗輸出連貫乾淨的高質量影片。
多倫多大學團隊公佈開源系統 ProxyPose,只需在普通 2D 影片中點選一個畫素,就能精準追蹤物體的三維位置和旋轉軌跡。它巧妙利用影片模型將目標替換為彩色立方體,再用幾何演算法解算出位姿,即使面對透明、反光或極端遮擋也能穩定追蹤。
研究團隊提出影片重打光框架 Relit-LiVE,無需相機姿態資料,就能在一個擴散過程中聯合預測重打光畫面與逐幀環境貼圖。它在長鏡頭中能保持陰影與反射的物理真實,還支援去光照與材質替換等編輯任務。
微軟推出影片生成框架 World-R1。它無需改動底層模型架構,基於 Wan2.1 並藉助強化學習和 3D 模型反饋將空間約束融入生成過程。這解決了影片幾何變形問題,大幅降低了世界模擬的訓練成本。
OmniTransfer 推出基於 Wan 2.1 的影片遷移框架,將視覺特效、動作驅動、運鏡控制以及角色 ID 和風格遷移統一在單個架構中。最值得關注的是,它無需手動提取骨架或估計相機軌跡,就能直接把參考影片裡的動態與質感遷移到新畫面。
騰訊等研究人員推出影片世界模型 VerseCrafter。它以 Wan2.1 為底座,能將單張圖片轉化為幾何場景,讓使用者在 Blender 中直接編輯運鏡路線與物體的 3D 運動軌跡,生成多視角下連貫的高質量動態影片。不過模型目前對人體朝向和非剛性背景形變控制仍有限制。
阿里巴巴開源 14B 引數影片生成模型 Wan2.1-FLF2V,允許創作者通過輸入起始和結束兩幀來生成過渡影片。該模型利用附加控制機制注入首尾幀的語義特徵,以維持畫風一致與複雜動作平滑,官網支援免費生成 5 秒 720p 影片。程式碼與權重已上線 GitHub 與 Hugging Face。
Krea 推出影片訓練功能,允許使用者使用自己的影片微調開源模型 Wan 2.1。該功能讓模型學習特定的自定義風格、動作或物體,進一步提升了 AI 影片生成的精細控制力。
阿里通義實驗室開源影片生成模型套件 Wan2.1,包含 14B 和 1.3B 兩個版本,在關鍵基準上跑分超過 Sora,生成速度提升 2.5 倍。模型支援影片生音訊與中英雙語文字渲染,輕量版在單張 RTX 4090 顯示卡上 4 分鐘即可生成 5 秒影片。