Runway 发布机器人模型 Praxis-1:物理 AI 落地还需 12 到 18 个月
据报道,Runway 在峰会上推出两款新品:全流程广告智能体 Runway Ads,以及开源权重的机器人世界动作模型 Praxis-1。联合 CEO 表示物理 AI 走向实际投产还需 12 到 18 个月,并提醒美国仍过度沉迷于语言模型,而中国已有约 70% 的 token 消耗流向视频模型。
据报道,Runway 在峰会上推出两款新品:全流程广告智能体 Runway Ads,以及开源权重的机器人世界动作模型 Praxis-1。联合 CEO 表示物理 AI 走向实际投产还需 12 到 18 个月,并提醒美国仍过度沉迷于语言模型,而中国已有约 70% 的 token 消耗流向视频模型。
本周,AI 视频记忆系统 Mosaic Chunk 正式开源。它通过选择性记住早期帧的关键特征,解决了物体离开画面数秒后模型就「失忆」变形的难题。项目已开放文生视频(基于 MiniMax H3)和图生视频(基于 Ling World Infinity)两套模型,支持本地运行。
AI 初创公司 Tavus 发布全双工交互模型 Griffin。它把全场景视频生成、听觉与视觉感知融为一体,能边听边点头、自然插话,测试中让 48% 的人误以为在和真人视频通话。目前轻量版 Griffin-Lite 仅面向小范围早期测试者开放。
Runway 发布效果营销引擎 Runway Ads,能根据品牌物料自动生成视频和图像广告,并直接发布至 Meta、Google 和 TikTok。系统会回传消耗数据,自动迭代下一轮素材。Runway 称其内部测试使广告周产量从 77 条激增至 900 条,获客成本降低 41%。
AI 运动控制系统 Terra 正式开源。它不同于直接控制关节旋转的传统做法,而是模拟人体肌肉收缩拉动骨骼,基于 9 小时运动数据训练,能让虚拟人在斜坡、台阶等复杂地形上行走,并支持跳跃和翻滚。代码采用 Apache 2.0 协议开放。
NVIDIA 开源多模态模型 PixelUMM。它完全去掉了传统的 VAE 与视觉编码器,基于 Qwen3-8B 骨干网络,直接在原始像素空间同时完成图像与视频的理解和生成。最值得关注的是,单一架构通吃四项任务,大幅简化了多模态管线。
NVIDIA 团队发布视频精炼模型 SoL-Refiner。它通过单步去噪将低分辨率视频直接提升至最高 4K,可搭配 MiniMax H3 等多种基础生成器。测试显示其能将 H3 生成提速达 27 倍,但增强后部分画面细节会与原视频略有差异。
InSpatio 开源 4D 世界模型 InSpatio-World 1.5。它支持输入单张图片、全景图或视频,通过预测新视角沿着指定镜头轨迹生成漫游画面,还能保留动作并制作「子弹时间」效果。模型体积不到 6GB,大多数消费级显卡即可运行。
研究团队开源视频蒸馏方法 PDMD。它将 MiniMax-H3 原本需要 20 到 30 步的视频生成流程直接压缩至 4 步。最值得关注的是,它修正了评估器的错误指导,避免传统蒸馏中画面越练越糊的问题,运动表现和细节明显更优。
Google 推出 Gemini 3.8 Live with Live Avatar,上线 Gemini Enterprise。该功能将近实时视频生成与语音结合,带来能听、能看、能说的动态数字人,支持 97 种语言对口型同步与表情适配,并能在后台异步调用工具的同时保持对话不中断。
Google 宣布向所有个人及 Workspace 账号免费开放 Google Vids。该工具接入 Gemini Omni 1.1 Flash,支持生成 1080p 视频、平滑扩展场景并精确控制剪辑时长,生成内容均嵌入 SynthID 数字水印。支持 100 多种语言的 AI 配音功能也即将上线。
研究者公布互动媒体演示 ACTx486,能把现成播客视频变成可交互内容。观众轻点画面即可打断提问、切换语言或插入 3D 物体,画面中的嘉宾会依据公开记录生成回应,随后无缝接回原片。不过目前单次交互生成需数分钟,公开演示均为提前预渲染。
Google 为 Google Flow 发布 6 款由行业创意人士定制的 AI 工具。新工具覆盖音效后期、动态字幕、社交封面图、3D 空间材质贴图以及脚本转动效等场景。用户既能直接体验,也可以复制或直接描述需求搭建专属工具。
YouTube 推出多项 AI 创作者工具。Shorts 与 YouTube Create 接入 Gemini 对话式剪辑助手,支持通过聊天调整画面并随节奏同步音乐;Studio 还新增最多 3 个版本的视频 A/B 测试,并将人脸检测扩展至声音检测以防范深度伪造。
Meta 在 Connect 2026 上为智能眼镜 Meta Ray-Ban Display 带来多项更新。导航现可结合眼前地标(如「在黄色房子左转」)指路,并新增骑行与公交路线;新功能 Hologram 仅凭声音就能推断表情并生成逼真数字人进行视频通话。设备还支持杜比全景声录制,并拓展至英法德等 5 国。
PixVerse 推出实时交互世界模型 PixVerse R2。它把多模态理解与视听生成整合到同一个模型中,用户可以通过交互直接影响场景和角色,甚至用语言实时改变故事走向。最关键的是,它能在持续生成后续画面的同时,保持整个世界状态前后一致。
Tavus 发布实时人体渲染模型 Phoenix-4.5。新架构放弃局部面部贴图,改为单次生成包含面部、躯干与背景的完整画面,音画延迟降至 134 毫秒。它还首次支持单张图零样本快速预览,并将微调耗时缩短至两小时。
腾讯团队发布交互式视频世界模型 WorldCrafter,通过隐式 3D 感知记忆机制,解决镜头移开后再转回来物体变形的问题。它支持从单张图片或文本生成可由相机控制的漫游视频,并借助蒸馏实现实时流式交互。
研究团队开源视觉生成框架 GAE。它把几何特征直接压缩进 128 通道的潜空间,生成画面时能同步解码出深度图、相机轨迹和 3D 点云。最值得关注的是,这种几何原生设计让相机轨迹误差减半,且权重不到 12GB,中端显卡即可本地运行。
ElevenLabs 推出 AI 原生视频编辑器 Studio 4.0,将视频、图像、超 1 万种声音的配音、音乐及音效生成整合到同一时间轴中。内置的 Studio Agent 可逐帧分析画面生成初剪,创作者无需在多款工具间切换导出。