字节预告音视频模型 Alive:声画同步一次生成,口型表情全打通
字节跳动公布音视频统一生成模型 Alive。它能同时接收文本、参考图与参考音频,直接生成口型同步且表情自然的带声视频。评测显示其综合表现超越 Sora 与 LTX2,不过目前仅公开了论文,代码与在线 Demo 尚未开放。
字节跳动公布音视频统一生成模型 Alive。它能同时接收文本、参考图与参考音频,直接生成口型同步且表情自然的带声视频。评测显示其综合表现超越 Sora 与 LTX2,不过目前仅公开了论文,代码与在线 Demo 尚未开放。
上周五,Autodesk 在旧金山联邦法院起诉 Google,指控其 AI 影视制作软件侵犯了「Flow」商标。Autodesk 称自己早在 2022 年 9 月就已使用该名称,而 Google 曾承诺不商业化却转头在海外暗中抢注,试图利用体量挤压对手。
清华大学 Xmax AI 团队推出实时交互视频模型 X1。它支持通过手机摄像头捕捉手势,无需手柄即可实时触摸并操控虚拟角色,具备毫秒级超低延迟和无限时长生成能力。目前团队已开启免费内测申请。
研究团队公布视频运动迁移技术 FastVMT。它能提取参考视频中的物体与镜头运动,仅凭提示词就能迁移给奔跑的狼或船等全新主体,并通过消除计算冗余提速 3.43 倍。这大幅降低了精细控制视频运动的门槛,不过目前项目仅公开了论文,代码暂未上线。
开源配音工具 Just Dub It 发布。它基于 LTX-2 打造了轻量 LoRA 适配器,能把视频翻译成法语、德语等外语并同步生成匹配的唇部动作,同时保留原人脸特征。代码、模型权重与训练集已全部开源,支持消费级显卡部署。
研究人员提出 Skin Tokens 及统一框架 TokenRig,能自动为 3D 模型估计骨骼与蒙皮。它不仅支持人形,连鸟类、甲虫、螃蟹等复杂生物也能处理,蒙皮精度最高提升 133%。这意味着 3D 生成到动画制作之间的关键瓶颈正在被打破。
Kling AI 推出多模态创作模型 Kling 3.0。新模型支持生成 15 秒高逼真度可控多镜头视频,升级了支持多角色及多口音的原生音频,并带来 4K 图像输出。目前新模型已在网页端上线,仅限 Ultra 订阅用户抢先体验。
OpenAI 公布 Sora 动态流的设计理念。推荐系统优先展示能激发创作与互动的内容,支持用户主动调整算法偏好,并接入 ChatGPT 家长控制功能来关闭个性化或限制无限滚动。同时设定了多层安全审查过滤违规内容。
Kling 公布运动控制技术 3D Move。它能将视频中人物的动作迁移给真人或动漫新角色,并首次做到在动作迁移的同时自由控制镜头运镜与缩放,保持空间一致性与精细手势。目前该成果仅发布了研究论文,尚未明确是否开源或上线。
开源视频工具 Omnimat Zero 能够精准擦除画面中的物体,并同步清理水坑倒影与地面阴影。它还能应对复杂的遮挡关系,或把前景单独提取为透明图层供替换背景,目前代码与本地运行说明已在 GitHub 开源。
Adobe 宣布为 Firefly 订阅用户开放无限次图像与视频生成。除了自家商用安全的 Firefly 模型,还直接引入了 Google Nano Banana Pro、GPT 与 Runway Gen-4 等第三方顶尖模型。3 月 16 日前加入指定计划,即可无限生成最高 2K 分辨率内容。
xAI 正式发布 Grok Imagine 1.0,支持生成 10 秒 720p 视频并大幅提升音频质量。官方透露,仅过去 30 天 Imagine 便生成了 12.45 亿个视频。这意味着在大规模使用基础上,xAI 正在进一步补齐画质与时长的短板。
腾讯等团队提出 InteractAvatar 框架,让数字人不仅能说话,还能与周围物体互动(如戴耳机、拿手机)。该框架支持连续指令与精确时间戳控制,解决了传统数字人只能站桩口播的局限。最值得关注的是,它让虚拟人视频生成迈向了能与真实环境交互的新阶段。
Pipio AI 等研究团队推出视频编辑框架 EditYourself。它能直接修改视频中人物说话的内容,自动消除卡壳口吃,并无缝对齐口型且不留硬切痕迹。这意味着视频后期能像改文字一样编辑台词,但也让深度伪造更难分辨。
Invideo 联手 Anthropic 推出 AI 动效生成工具。用户输入单条提示词就能生成专业动态图形,完全告别 After Effects、模板和代码。官方将其称为动效设计界的「Vibe Coding」,试图把专业动效成本打到零。
Google DeepMind 推出实验原型 Project Genie,底层由世界模型 Genie 3 驱动。用户输入提示词或上传草图,就能实时生成可操作移动、支持物理交互的虚拟环境。目前生成上限为 60 秒,仅向美国 Google AI Ultra 订阅用户开放。
据 The Verge 报道,YouTube 下架了多个头部 AI 垃圾内容频道,包括坐拥超 590 万粉丝、12 亿播放量的低质内容大号。官方确认因违规处理了 11 个频道,正通过反垃圾机制遏制劣质 AI 生成内容的泛滥。
Apple 更新了 Mac 和 iPad 上的 Final Cut Pro 与 Logic Pro。视频剪辑新增自然语言视觉与对白搜索,能直接用文字找出镜头里的特定动作;音频制作则加入 AI 合成器乐手,并支持用自然语言找 Loop。剪辑和找伴奏省去了漫长的人工翻找,体验直观不少。
OpenMOSS 开源视频生成模型 MOVA,可在单个模型内原生同步生成画面与声音。它采用 320 亿参数的 MoE 架构,运行激活 180 亿参数,支持多语言对口型。代码和权重已上线 GitHub,不过 720p 版本约 77 GB,对显存要求较高。
robbyant 开源基于 Wan2.2 的世界模拟器 LingBot-World。它支持用文本或图片生成可交互环境,能以 16 FPS、低于 1 秒延迟输出 480P 与 720P 画面,并具备分钟级场景一致的长记忆。代码与权重已公开,为互动生成与机器人学习提供了开源方案。