SWM 首尔世界模型亮相:结合真实街景 RAG,生成数公里漫游视频
研究团队提出首尔世界模型(SWM),将真实街景图像作为 RAG 检索锚点引导视频自回归生成。它解决了长视频误差累积的问题,支持数百米至数公里尺度的真实街道漫游,还能用文本提示为城市添加海啸等场景变化。
研究团队提出首尔世界模型(SWM),将真实街景图像作为 RAG 检索锚点引导视频自回归生成。它解决了长视频误差累积的问题,支持数百米至数公里尺度的真实街道漫游,还能用文本提示为城市添加海啸等场景变化。
阿里开源影视配音模型 Fun-CineForge。输入视频与文本,模型通过引入「时间模态」识别角色并对准唇形,即便面部被遮挡也能卡准节奏发声。最值得关注的是它支持多角色自然切换,让自动配音真正做到了音画对齐。
研究团队开源 Pulse of Motion,专门解决 AI 视频动作过快或过慢的「计时幻觉」。该模型不到 2GB,能直接从画面运动推算出真实的物理帧率,并据此校正播放节奏。普通消费级设备就能跑,让 AI 画面里的动作真正符合现实物理规律。
字节跳动在周末暂停了 AI 视频模型 Seedance 2.0 的全球上线。此前美国电影协会发函警告,美参议员也要求其立即下架,指控其生成超人打灭霸等素材侵犯版权与肖像权。字节表示正加强防护措施,防范未经授权的侵权行为。
AI 项目 Retime GS 亮相。它只需普通 2D 视频帧作为输入,就能生成支持任意视角观看的全身 4D 场景;即使原视频丢帧卡顿,也能通过改进的 4D Gaussian Splatting 补全空缺,比同类方法更流畅、伪影更少。
NBCUniversal 宣布为 Peacock 应用引入多项 AI 功能。今夏上线的「Your Bravoverse」由 Andy Cohen 数字分身导览,靠智能体与计算机视觉从 5000 小时真人秀中拼出超 6000 亿种竖屏播放组合;今春还将测试用 AI 实时裁切的 9:16 比例 NBA 赛事直播。
OpenAI 宣布升级基于 Sora 2 的 Video API。开发者现可生成长达 20 秒的片段,并支持自定义角色与物体、16:9 及 9:16 画幅、场景续写和批量生成任务。这为视频应用的开发流程带来了更高的灵活度与控制力。
据 The Information 报道,OpenAI 计划将 Sora 视频生成器直接集成至 ChatGPT 中。此前 Sora 仅作为独立网页和应用运行。在近期因军方合作引发卸载潮、面临 Claude 激烈竞争的背景下,此举旨在挽回用户,但同时也可能增加算力成本并加剧深伪滥用风险。
Runway 宣布成立内部孵化器 Runway Labs,由联合创始人 Alejandro Matamala Ortiz 领衔。该实验室专注于探索生成式视频与通用世界模型的前沿应用,计划在电影、医疗、教育和游戏等领域快速构建原型产品。Runway 认为 AI 视频已达转折点,正对外招募工程师与前创业者。
一体化数字人模型 ID Laura 开源。它基于 LTX 2.3,改变了以往先克隆声音再匹配口型的两段式做法,只需输入单张人像、参考音频和台词,就能由单个模型同步生成视频、克隆语音与环境音。目前运行至少需 24GB 显存,推荐 48GB。
本周在 GDC 上,NVIDIA 宣布为 ComfyUI 推出全新 App View 模式,并上线 RTX 视频超分辨率节点。用户无需连线即可输入提示词生成视频;借助 RTX 50 系列显卡的 NVFP4 格式与超分技术,4K 放大提速 30 倍,显存占用降低 60%。
伦敦大学学院团队在《eLife》发表研究,仅凭小鼠视觉皮层的单细胞脑活动记录,成功重建出小鼠看过的 10 秒视频。模型还结合了运动与瞳孔变化等内部生理状态,纳入神经元越多重建越准。这为解析大脑如何过滤和修饰视觉现实提供了全新工具。
开源视频抠像模型 MatAnyone 2 正式上线,无需绿幕就能从复杂运动视频中高精度提取人像遮罩。模型体积仅约 140MB,对发丝细节处理干净,已在 GitHub 开源并在 Hugging Face 开放免费在线体验。
Tavus 推出多模态感知系统 Raven-1,能实时捕捉对话者的语气、微表情和姿态。它抛弃了传统的喜怒哀乐标签,直接输出自然语言描述,刷新延迟在 300 毫秒内,并支持兼容 OpenAI 的工具调用。这意味着 AI 终于不再只看转写文字,能真正理解言外之意。
研究员开源全景视频模型 CubeComposer,能把单台相机拍摄的普通视频转化为 360 度全景视频,并支持 4K 增强。它通过扩散模型拆解球体的六个面,用稀疏注意力机制补全镜头背后的画面,整体质量超过 Argus。不过目前背后的脑补画面仍有些许畸变。
腾讯混元团队提出特效定制框架 EffectMaker,能把参考视频中的视觉特效直接克隆到新画面中。它通过多模态大模型与 Diffusion Transformer 双路引导,无需针对单个特效微调,并配套构建了含 13 万条视频的数据集。
Lightricks 发布开源音视频模型 LTX-2.3 及免费本地编辑器 LTX Desktop。新版本重构了 VAE 与声码器,减少图生视频画面卡顿并提升音频对白质量,还首次原生支持 1080×1920 竖屏生成。权重已在 Hugging Face 开源,年营收 1000 万美元以下可免费商用。
开源项目 RealWonder 发布,支持在单张静态图片上施加虚拟外力,实时模拟物体在水流或风吹下的受力运动。它以物理模拟作为桥梁,在单张 H200 上达到 480p、13 帧/秒的生成速度。目前代码与模型权重均已开源。
Luma 推出创意智能体平台 Luma Agents,由底层统一多模态模型 Uni-1 驱动,支持文本、图像、视频和音频的端到端创作。它不仅具备类似代码智能体的自我反思和纠错迭代能力,还能协同调度 Google Veo 3 与 ElevenLabs 等外部模型。目前该平台已开放 API,并逐步向企业灰度铺开。
Netflix 宣布收购演员兼导演本·阿弗莱克创立的 AI 影视技术公司 InterPositive。该公司利用专业摄影棚实拍数据集,训练理解剪辑连贯性与布光等镜头逻辑的模型。阿弗莱克将出任 Netflix 高级顾问,强调工具旨在辅助创作者而非取代人类。