Google Flow 接入街景:输入真实地点,AI 就能定点生成视频
Google 为 Google Flow 引入 Maps Imagery Grounding,支持调用 Google Maps 街景生成图片与视频。用户在提示词里输入具体地点或地标,AI 就会参考真实街景细节构图。最值得关注的是生成场景有了现实坐标,不再凭空捏造。不过目前仅支持美国地区。
Google 为 Google Flow 引入 Maps Imagery Grounding,支持调用 Google Maps 街景生成图片与视频。用户在提示词里输入具体地点或地标,AI 就会参考真实街景细节构图。最值得关注的是生成场景有了现实坐标,不再凭空捏造。不过目前仅支持美国地区。
开源视频生成项目 Domain Shuttle 发布,支持输入多张参考图生成视频并保持主体一致。它能把真人、2D 动漫和 3D 角色放进同一场景互动,还支持通过文本跨风格转换。模型基于 Wan 2.2 构建,权重约 35GB,已在 GitHub 开源代码。
快手 Kling 团队本周推出 Omni Director 研究预览。它不再依赖文本提示词调镜头,而是能直接学习参考视频的运镜轨迹、切镜节奏甚至子弹时间特效,并驱动新图片生成视频。目前该功能尚未正式开放使用。
Google DeepMind 宣布与电影制片厂 A24 达成长期研发合作,将前沿技术直接嵌入影视创作流程中。A24 的创作者将参与塑造未来的 AI 工具并提供一线反馈,Google 同时也对 A24 进行了投资。这项合作旨在缩短尖端技术与下一代娱乐内容的距离。
xAI 全面上线视频生成模型 Grok Imagine Video 1.5,并登顶图生视频竞技场。该模型采用自回归架构 Aurora,自带音画同步,720p 视频每秒定价 0.14 美元,比 Sora 2 Pro 便宜约 86%。不过其单次输出上限为 15 秒 720p。
Adobe 宣布将 Firefly AI 助手扩展至 Premiere、Illustrator、InDesign 和 Frame.io。助手能帮剪辑师分类素材并批量重命名剪辑,帮设计师重组图层与排查缺漏字体。Firefly 还加入 Elements 和 Projects 资产库功能,并计划支持 Gemini 和 Slack。
Ai2 推出 3D 运动预测模型 MolmoMotion 及 116 万条轨迹数据集。它基于 Molmo 2,输入视频首帧、指定点与文字指令,即可预测物体未来数秒在 3D 空间中的运动轨迹。在模拟抓取任务中,其成功率达 76.3%,还能用于辅助可控视频生成。代码与权重均已开源。
Palmier 推出专为 Claude 打造的开源 Mac 原生 AI 视频编辑器。它允许用户在时间线上直接用 AI 剪辑、整理和生成素材,并提供免费的本地语义检索与转写。软件支持自带 Anthropic API Key 或 MCP 连接,付费版还可接入外部生成模型。
阿里云宣布推出开放式世界模型产品 HappyOyster 1.0。它支持原生多模态音视频联合生成,能在生成过程中持续接收指令并实时响应。用户不仅能随时叫停并改写剧情,还能用 WASD 键在画面中走动探索,让视频生成真正变成可玩的游戏世界。
FlexAvatar 提出一种基于 3D 高斯泼溅的新架构,仅凭单张图片就能在 2 分钟内生成完整的 360 度可动 3D 头部模型。团队通过专属标记解耦驱动信号与视角,混合单目和多视角数据训练,在 RTX 3090 上仅耗 1.7GB 显存即可跑出 20 FPS 的实时渲染与表情驱动。
ByteDance 旗下 BytePlus 上线视频生成模型 Seedance 2.0 Mini。新模型支持以图像、视频和音频作为参考输入生成视频,专为高频日常制作打造,速度更快,定价仅为标准版 Seedance 2.0 的约 50%。
视频编辑框架 PermaVid 开源,专门解决 AI 视频编辑里的时序一致性难题。它把空间上下文拆分成外观和 3D 深度结构两个独立记忆库,不管是全局换风格还是局部改物体,都不会丢失原有的几何结构,代码已支持本地部署运行。
周三,Meta 预告视频剪辑工具 Edits 将加入 AI 助手和桌面版。AI 助手能读取 Instagram 播放量与留存数据,直接帮创作者构思选题并推荐热门音频;桌面版则支持跨端同步以对标剪映。应用内的实验性 Beta 标签与更细致的受众分析也在当天同步上线。
AI 视频公司 Runway 宣布深化与好莱坞制片厂狮门影业的合作。双方将启动原创 IP 联合开发计划,推动合作从单纯的工具授权跨入共同创作新内容。这标志着 AI 技术正进一步切入好莱坞主流制片的核心流程。
研究人员公布视频世界模型 MoVerse,仅凭单张普通图像即可构建支持实时交互漫游的 360° 3D 场景。模型将空间构建与视频渲染解耦,借助 3D 高斯技术,在单张 RTX 4090 显卡上实现每秒 8 帧实时渲染。目前代码与模型仍在合规审查中,预计后续开源。
ElevenLabs 在 ElevenCreative 中上线 Avatars 功能。用户只需选定数字人、输入脚本并选择声音,即可在单一界面完成口型同步视频生成,还支持在多场景中保持角色一致性,目前面向所有付费方案开放。
KAIST AI 与 AIPARK 推出首个用于 V2V 口型同步的自回归扩散模型 Lip Forcing。通过将 14B 教师模型蒸馏为仅需两步去噪的学生模型,1.3B 版本在单张 H100 上达 31 FPS,首次突破实时同步门槛。
HeyGen 推出 HyperFrames 工具,作为官方连接器接入 Claude 与 Claude Code。它通过 MCP 运行,用户只需输入文字描述,就能直接生成带旁白、字幕和动效的场景并导出 MP4,无需使用任何视频剪辑软件。
ZAI 开源视频动作迁移模型 SCAIL-2,无需中间骨架即可实现端到端角色动画。它支持多角色大幅度打斗与角色替换,甚至能把动作迁移给火烈鸟或夸张身材的异形生物。不过模型权重总计达 81GB,普通消费级显卡需要等待量化版本。
第一人称世界模拟器 Anchor World 公布。它支持输入 3D 人体动作与场景锚点图,直接渲染出人在空间中走动并与水槽、刀具交互的第一人称视频。这种动作驱动机制有望用于生成人形机器人的训练数据;目前代码正处于审核阶段。