Tavus 上线 PAL Maker:动嘴就能捏出带记忆的 AI 视频交互体
Tavus 推出零代码工具 PAL Maker。用户只需向 AI 智能体描述需求,即可自动配置面孔、声音与长期记忆,生成能听会看的 AI 视频交互体。底层基于自研 Raven-1 等模型,目前已被亚马逊、梅奥诊所等用于招聘筛选与术后随访。
Tavus 推出零代码工具 PAL Maker。用户只需向 AI 智能体描述需求,即可自动配置面孔、声音与长期记忆,生成能听会看的 AI 视频交互体。底层基于自研 Raven-1 等模型,目前已被亚马逊、梅奥诊所等用于招聘筛选与术后随访。
研究团队提出数字人生成框架 LeapTalk。它摒弃了多步扩散和自回归方案,采用基于布朗桥的单步异构蒸馏,只靠一张参考图和一段音频,就能以最高 200 FPS 的超快速度单步生成口型同步的流式长视频,同时保证长时间不发生面部身份漂移。
Mirage 推出数字分身模型 Avatar X,用户只需上传 10 秒视频即可生成 AI 分身。该模型主打细致的微表情还原,能够生成大笑、打哈欠、假笑等自然神态,同时支持音频驱动全身动作以及长视频连续生成不失真。
Adobe 与约翰霍普金斯大学公布视频世界模型 Wonder。输入一张图片或视频,它能以 16 FPS 实时生成可漫游的世界。最值得关注的是它解决了相机精准控制与长程记忆问题,用户转一圈探索新区域再走回来,原来的景物依然保持一致。
这周 Google 开源 3D 头部模型 GNM,支持通过滑块精确控制人物面部结构。模型提供 253 个身份参数和 383 个表情参数,连眼球、牙齿乃至舌头都能独立调节,采用 Apache 2.0 协议发布。它能直接解决以往 AI 人脸千篇一律以及口腔内部结构缺失的问题。
Netflix 旗下团队发布视频框架 ID-V2V。用户只需修改一帧画面,就能将新风格与灯光扩散到整段视频,同时锁定人物长相、微表情和口型不走样。系统最高可输出 720p 视频,但主模型体积近 80GB,本地运行门槛较高。
Black Forest Labs 联手 mimic 推出基于 FLUX 3 的视频-动作模型 FLUX-mimic,已在奥迪工厂落地。该模型直接把视频物理表征解码为机械动作,单张 RTX 5090 延迟不足 80 毫秒,可完成柔性线缆等传统自动化难以处理的装配任务。
Black Forest Labs 推出多模态基座模型 FLUX 3 并开启早期访问。该模型基于 Self-Flow 架构,在统一网络中同时学习图像、视频与音频,支持单次生成长达 20 秒带原生音频的视频,并能拓展至机器人动作预测。官方计划在未来数周逐步开放图像生成与开源权重 Dev 版本。
ABot-World 是一个开源的实时交互式世界模拟器,允许用户实时输入动作控制场景走向,支持无上限的持续生成。模型只需单张 RTX 5090 显卡即可在本地运行,以 1.2 秒延迟输出 720p、16 FPS 画面,代码与模型权重均按 Apache 2.0 协议开源。
视频生成模型 Homie 开源。它支持输入多个人物和物体参考图生成视频,还允许上传多视角图片与 OCR 位置图来精准控制细节与文字位置。相比同类模型,它在复杂设计场景下的一致性更高,适合批量制作营销视频。
《第九区》导演 Neill Blomkamp 发布 13 分钟 AI 短片《NIGHTBORNE》,全程使用 Seedance 2.0 制作,结合了概念艺术家与 32 位真人的面容声音。Blomkamp 称实验两年后准备挑战长片,并成立了新 AI 工作室 Barley Studios。
导演克里斯托弗·诺兰在采访中称 AI 就像一个「透明的特洛伊木马」,人人都知道里面有危险。他格外赞赏年轻人对「AI 垃圾」的警惕与抵触,直言从未见过哪项飞速发展的技术像 AI 这样遭到公众如此强烈的怀疑。
browser-use 为 browser-harness 合并了 PR #532,支持在智能体操作网页时同步记录截图与事件流。随后智能体可通过内置模板将其自动合成为带平滑缩放、光标动效和敏感信息打码的高质感演示视频,且全程无需安装 ffmpeg。
Runway 发布 Agent 2.0,能将简单的提示词转化为完整的营销策划案并生成多平台广告素材。它接入 Meta、YouTube 等渠道的投放数据进行复盘,还能调用 Gen-4.5 等多种模型自动适配不同画幅与地区版本。也就是说,Runway 正在从单一视频生成走向全流程营销自动化。
Google 为 Google Vids 推出 Gemini Omni 编辑与个人分身功能。用户不仅能用自然语言修改背景、光照和特效,上传一张自拍和录音还能生成替自己出镜的数字人。目前面向 Google AI Pro、Ultra 及 Workspace 商业订阅用户开放,生成视频均嵌有 SynthID 水印。
Wan Streamer 发布 0.3 版本,让虚拟角色从肖像对话升级为能与环境互动的动作控制。核心机制是将视频拆解为保持一致的「世界」与随时间变化的「事件流」,能实时响应比耶、叉腰等自然语言指令。目前团队仅发布了技术论文。
Netflix 在二季度财报中透露,今年已有约 300 部作品在制作中使用了生成式 AI,覆盖从概念到后期的全流程。联席 CEO 萨兰多斯称纪录片《美国实验》用 AI 制作了 17 分钟镜头,速度快了一倍且成本减半。不过官方强调,AI 仅用于辅助创作,无意取代人类艺术家。
OpenMOSS 开源 11B 实时视频理解模型 MOSS-VL-Realtime。它专为连续视频流设计,改变了必须读完全片才能作答的传统模式;支持用户在推流时随时提问打断,并在画面信息不足时主动静默或动态修正。
据 Variety 报道,《星球大战》创作者乔治·卢卡斯公开支持 AI 辅助电影制作,称 AI 让拍电影容易得多。他将抗拒 AI 比作当年反对汽车普及,认为技术进步无可阻挡,且 AI 能帮助识别真伪。在影视业普遍忧虑 AI 的当下,他的表态格外引人瞩目。
阿里 Wan 团队开源舞蹈生成模型 Wan-Dancer-14B 及代码。它不需要参考动作视频,仅凭一段音乐和一张静态人像,就能生成节拍同步的分钟级舞蹈。最值得看的是它采用全局规划加局部精细化框架,已适配古典舞、街舞和 K-Pop 等多种风格。