xAI 推出 Grok Imagine API:原生生成音视频,主打低延迟与性价比
xAI 正式推出 Grok Imagine API,支持文本及图像生成原生带音频的视频序列。模型兼顾画质与生成速度,支持局部擦除、角色动画和场景风格变换。最值得关注的是,xAI 试图通过压低延迟与成本,让创作者能够低门槛并行试验多种方案。
xAI 正式推出 Grok Imagine API,支持文本及图像生成原生带音频的视频序列。模型兼顾画质与生成速度,支持局部擦除、角色动画和场景风格变换。最值得关注的是,xAI 试图通过压低延迟与成本,让创作者能够低门槛并行试验多种方案。
研究团队发布风格迁移模型 TeleStyle,支持通过参考图或文本为图像和视频赋予特定画风。该模型基于 Qwen-Image-Edit 构建,借助课程持续学习与专用的视频模块,在套用新风格时仍能保证画面内容和帧间连贯性。目前代码与预训练模型已开源。
腾讯推出端到端视频生成框架 ScriptAgent,专门把粗略对话转为电影级长镜头视频。它由编剧、导演和评审三个智能体分工协作,细化剧本并调度 Sora2-Pro 等主流模型完成跨场景连续生成。测试显示其剧本忠实度最高提升 0.4 分,团队还同步推出了评测基准 ScriptBench。
Google DeepMind 联合前皮克斯动画师制作的短片在圣丹斯电影节展出。团队弃用单纯文字生成,改用草图与粗剪驱动 Veo 和 Imagen,实现局部重绘与风格微调。最值得关注的是,这套工作流证明了专业动画不必向 AI 的随机性妥协。
Luma AI 发布视频模型 Ray3.14。新版本支持原生 1080p 输出,生成速度提升至 4 倍,每秒计费仅为此前三分之一,并改善了运镜和光影稳定性。这意味着创作者无需依赖后期超分即可直接出片,大幅降低了影视与广告的试错成本。
Runway 为 Gen-4.5 推出图像转视频功能。官方表示在一项测试实验中,仅有 10% 的人能分辨出生成视频的真伪。目前该模型位居 Artificial Analysis 榜首,Runway 称这种逼真度标志着 AI 媒体迎来了社会「临界点」。
YouTube 宣布今年将允许创作者使用自己的 AI 形象生成 Shorts 短视频,还能靠文本提示做小游戏。平台还将同步配套肖像管理工具,防范未经授权的盗用与低质 AI 内容。目前该功能尚未正式上线。
研究人员推出视频抠像模型 VideoMaMa,利用预训练视频扩散模型的生成先验,直接将粗糙的分割掩码转化为发丝级精确的抠像。团队还基于此构建了含超 5 万条真实视频的数据集 MA-V 并训练出 SAM2-Matte。所有模型与数据均将公开发布。
研究团队开源 4D 动态生成模型 Motion 3-to-4。它能从单视角视频中直接重建高保真 4D 动态物体,把任务拆解为静态 3D 形状与逐帧顶点运动轨迹预测,还能将提取出的角色动作迁移到其他视频中。
OmniTransfer 推出基于 Wan 2.1 的视频迁移框架,将视觉特效、动作驱动、运镜控制以及角色 ID 和风格迁移统一在单个架构中。最值得关注的是,它无需手动提取骨架或估计相机轨迹,就能直接把参考视频里的动态与质感迁移到新画面。
Lightricks 推出音频转视频功能,允许用户输入语音、音乐或音效生成对应视频。模型能理解节奏与节拍,实现画面与声音精准卡点,可用来制作音乐视频、素材和数字人。这意味着声音也能直接充当画面的分镜脚本。
Adobe 为 Premiere 推出端侧 AI 物体遮罩工具,鼠标悬停点击即可精确跟踪复杂移动目标。重构后的形状遮罩跟踪提速最高达 20 倍,同时支持无缝导入 Firefly Boards 资产。After Effects 26.0 也同步迎来原生 3D 等更新。
Overworld 开源实时交互式视频模型 Waypoint-1 及推理库 WorldEngine,支持通过键鼠实时操控画面。该模型基于上万小时游戏视频训练,在 RTX 5090 上最高可达 60 FPS 且近乎零延迟。不过目前画面一致性较弱且存在幻觉,已开放 2.3B 小型版本下载。
Remotion 官方 Agent Skills 支持通过自然语言让 Claude Code 等编程智能体全自动编写组件、3D 动画并直接渲染成视频。开发者无需打开 AE 或 PR,仅靠提示词就能快速生成功能演示与营销短片。
研究团队开源多主体动画模型 CoDance,解决了角色与驱动姿态错位就无法动起来的难题。它先解绑动作与空间位置,再通过文本和遮罩把动作精准指派给目标角色,无论画面里有几个人、什么画风都能生成协调动画。目前代码与权重已全部开源。
研究团队推出交互式数字人模型 FlowAct-R1,支持流式生成无限时长的数字人视频。它采用自回归架构与记忆机制,实现 25fps 的 480p 实时生成,首帧延迟约 1.5 秒且动作自然。这意味着低延迟数字人直播和实时交互迈出了关键一步。
哥伦比亚大学团队研发出一款带 26 个微型电机的硅胶机器人脸,通过看人类视频自主学会对口型,无需预设规则。它跨 11 种语言的表现超过 5 种现有方法,搭配 ChatGPT 能大幅减少传统人型机器人的僵硬与诡异感。
Google 升级视频模型 Veo 3.1,为图片生视频功能加入原生 9:16 竖屏与最高 4K 画质。新版大幅提升角色和背景跨镜头的一致性,换场景也不崩脸,创作者免裁切就能直出短剧,现已上线 Gemini 与 YouTube Create。
PixVerse 发布实时世界模型 PixVerse R1,能以流式生成连续 1080P 视频,用户中途随时输入提示词即可实时改变画面。虽然目前一致性较弱、物体易变形,但它让 AI 视频从等渲染的切片变成了可实时干预的模拟世界。
研究团队公布 3D 动画框架 RigMo 论文。它能直接从模型序列中推断骨架与动作,无需人工标注骨骼,除了人形和鸟兽外,连风扇等物体也能准确绑定。相比 Uni-Rig 更稳且不易绑歪。目前代码与数据即将开源。