字节跳动推出 DMAD:4 步完成视频生成,提速数倍
字节跳动发布视觉生成对抗蒸馏方法 DMAD。它把原模型当作教师,通过分布匹配训练仅需 4 步去噪的学生模型。该方法适配 MiniMax-H3、Wan2.1 等架构,将原本 20 至 30 步的视频生成流程大幅压缩,画质不减。
字节跳动发布视觉生成对抗蒸馏方法 DMAD。它把原模型当作教师,通过分布匹配训练仅需 4 步去噪的学生模型。该方法适配 MiniMax-H3、Wan2.1 等架构,将原本 20 至 30 步的视频生成流程大幅压缩,画质不减。
研究人员开源 FixAnything,利用视频扩散模型修补 3D 渲染中的瑕疵。无论是 3DGS、NeRF 还是网格,一旦在新视角下出现空洞与漂浮噪点,它都能借助视频先验输出连贯干净的高质量视频。
多伦多大学团队公布开源系统 ProxyPose,只需在普通 2D 视频中点击一个像素,就能精准追踪物体的三维位置和旋转轨迹。它巧妙利用视频模型将目标替换为彩色立方体,再用几何算法解算出位姿,即使面对透明、反光或极端遮挡也能稳定追踪。
研究团队提出视频重打光框架 Relit-LiVE,无需相机姿态数据,就能在一个扩散过程中联合预测重打光画面与逐帧环境贴图。它在长镜头中能保持阴影与反射的物理真实,还支持去光照与材质替换等编辑任务。
微软推出视频生成框架 World-R1。它无需改动底层模型架构,基于 Wan2.1 并借助强化学习和 3D 模型反馈将空间约束融入生成过程。这解决了视频几何变形问题,大幅降低了世界模拟的训练成本。
OmniTransfer 推出基于 Wan 2.1 的视频迁移框架,将视觉特效、动作驱动、运镜控制以及角色 ID 和风格迁移统一在单个架构中。最值得关注的是,它无需手动提取骨架或估计相机轨迹,就能直接把参考视频里的动态与质感迁移到新画面。
腾讯等研究人员推出视频世界模型 VerseCrafter。它以 Wan2.1 为底座,能将单张图片转化为几何场景,让用户在 Blender 中直接编辑运镜路线与物体的 3D 运动轨迹,生成多视角下连贯的高质量动态视频。不过模型目前对人体朝向和非刚性背景形变控制仍有限制。
阿里巴巴开源 14B 参数视频生成模型 Wan2.1-FLF2V,允许创作者通过输入起始和结束两帧来生成过渡视频。该模型利用附加控制机制注入首尾帧的语义特征,以维持画风一致与复杂动作平滑,官网支持免费生成 5 秒 720p 视频。代码与权重已上线 GitHub 与 Hugging Face。
Krea 推出视频训练功能,允许用户使用自己的视频微调开源模型 Wan 2.1。该功能让模型学习特定的自定义风格、动作或物体,进一步提升了 AI 视频生成的精细控制力。
阿里通义实验室开源视频生成模型套件 Wan2.1,包含 14B 和 1.3B 两个版本,在关键基准上跑分超过 Sora,生成速度提升 2.5 倍。模型支持视频生音频与中英双语文字渲染,轻量版在单张 RTX 4090 显卡上 4 分钟即可生成 5 秒视频。