Runway 推出 Aleph 2.0 与 Edit Studio:只改你想改的局部画面
Runway 发布全新视频编辑模型 Aleph 2.0 并上线 Edit Studio。它支持精准定向修改,用户调整特定元素时,画面其余部分完全不受影响。这直接解决了 AI 视频编辑常误伤周边背景的痛点,大幅提升了创作者的控制精度。
Runway 发布全新视频编辑模型 Aleph 2.0 并上线 Edit Studio。它支持精准定向修改,用户调整特定元素时,画面其余部分完全不受影响。这直接解决了 AI 视频编辑常误伤周边背景的痛点,大幅提升了创作者的控制精度。
Black Forest Labs 宣布知名导演 Martin Scorsese 担任其顾问,协助指导以人类审美和工艺为核心的视觉 AI 研发。双方还进行了使用图像生成模型 FLUX 制作故事板分镜的实际创作合作。
TwelveLabs 发布首款面向终端用户的 AI 创作副驾 Rodeo。依托 Marengo 3.0 与 Pegasus 1.5 大模型,它能根据自然语言理解长视频的画面与上下文,在庞大素材库中自动检索并拼贴出成片,省去人工逐秒翻查素材的繁琐工作。
百度 ERNIE 团队开源音视频同步生成模型 NAVA,参数量仅 63 亿。它告别了先渲染画面再后期配音的路线,直接原生联合生成画面与双声道音频,支持参考音频控制音色。8 卡并行约 1 分钟即可生成 1 分钟 720p 音画同步视频。
马普所和 CMU 开源无标记动捕系统 MAMMA,仅用 4 台普通摄像机甚至手机拍摄的多视角视频,就能转成高精度 3D 人体模型。它无需穿戴任何物理标记点,能精准追踪跳舞、拥抱等复杂互动,还能做出《黑客帝国》同款子弹时间效果。代码与 Web UI 已在 GitHub 开放。
NVIDIA 开源视频编辑系统 SANA-Streaming,仅用 20 亿参数即可在播放过程中实时替换视频中的服装、背景与场景风格。借助混合注意力架构与算子优化,它在 RTX 5090 上实现 720p 分辨率下 24 FPS 端到端实时编辑,并保持原动作稳定。代码与权重已公开发布。
ElevenLabs 推出新一代配音模型 Dubbing v2。新模型主打跨语言情绪与表演细节的保留,能把原声的情绪起伏完整迁移到目标语言中。这意味着 AI 配音不再只是干瘪的台词朗读,视频出海本地化听起来将更像原声出演。
NVIDIA 发布多智能体交互世界模型 Gamma World。它把过去单人控制的世界模型扩展到多玩家和多机器人场景,无需预设几何形状即可按各智能体动作以 24 FPS 实时生成共享环境与视角。这意味着未来游戏与机器人仿真可以直接在生成世界里跑。
Runway 推出 Runway MCP,将图像和视频生成能力接入 Claude、ChatGPT、Cursor 和 Replit 等平台。用户无需离开当前工作界面,就能直接调用 Gen-4.5、Kling 等模型生成内容。这意味着开发者和创作者可以直接在日常对话和编程工具中调度多模态模型。
YouTube 宣布升级 AI 内容标签。逼真或经实质性 AI 修改的视频标签将移至更显眼位置。平台自 5 月起引入自动检测,创作者未主动申报也会被系统自动打标。被误标可在 YouTube Studio 修改,标签不影响推荐和变现。
Amazon MGM Studios 宣布设立生成式 AI 创作者基金,并联手 AWS 推出制作平台 Project Nara。平台能打通 Blender、Maya 等专业工具,首批已为 Prime Video 批准三部动画剧集,试播集制作周期被压缩至五周。
阿里团队公布数字人音视频生成框架 StreamChar,将长程编排与短窗口去噪解耦。它利用 LLM 与音视频联合 DiT 架构,配合记忆机制防止身份漂移与音画脱节,在单张 H100 上跑出实时流式生成。全身数字人离实时互动和虚拟主播更近了一步。
美团开源数字人视频模型 LongCat-Video-Avatar 1.5,只需一张参考图和一段音频,就能生成动作协调的说话视频。模型支持动漫与写实等多种风格,还攻克了多人对话场景,蒸馏后仅需 8 步生成,效率提升约 15 倍。16GB 的 INT8 权重与代码已开放下载。
研究团队公布 Pantheon360 框架。它利用显式 3D 缓存作为几何骨架,让扩散模型专注渲染纹理,从稀疏全景输入生成高保真 360 度视频。这意味着数字孪生和 VR 场景有了更稳定、不易漂移的全景生成方案。
研究团队开源了 FPS 交互式世界模型 SCOPE。它基于 Wan2.2 打造,支持移动与开火等 10 自由度控制,能将连续按键操作直接生成为连贯的游戏画面,并支持未知场景的零样本迁移。目前模型权重、代码和数据集均已在 GitHub 开源。
Runway 发布视频编辑工具 Aleph 2.0,已在网页端全新的 Edit Studio 上线。用户只需在视频中修改单帧并预览效果,Aleph 2.0 便会自动将修改连贯应用到整个视频片段,省去了以往逐帧手动调整的繁琐流程。
Arq.live 推出语音生成影像系统 GLITCH,导演无需手打提示词,直接口述即可完成选角、搭景与调度走位。系统后台由多个 AI 智能体像电影摄制组一样协同实时出片,在单台笔记本电脑上用时不到 8 分钟就生成了一部完整短片。
字节跳动开源统一视频框架 Bernini,将多模态语义规划器与 DiT 渲染器结合。它支持文本、图像和视频混合输入,单模型覆盖文生视频与视频编辑等多项任务。最值得关注的是,它先规划语义再生成画面,让 AI 视频编辑更精准可控;完整推理代码与模型权重均已放出。
研究人员公布 Lift4D 框架。它只需一段普通的单视角 2D 视频,就能重建出包含完整外观与运动变形的 4D 场景,还能自动脑补镜头未拍到的死角与遮挡区域。这意味着日常单机位拍摄的动态物体,也能实现 360 度环视查看。
Google 宣布 Gemini 月活突破 9 亿,并推出多项 Agent 更新。核心是全天候云端智能体 Gemini Spark,合上电脑也能在后台打理邮件与文档;同步上线的还有视频生成模型 Gemini Omni 与早报功能 Daily Brief。