Motion 3-to-4:单目视频直接转 4D 动态物体,角色动作还能迁移
研究团队开源 4D 动态生成模型 Motion 3-to-4。它能从单视角视频中直接重建高保真 4D 动态物体,把任务拆解为静态 3D 形状与逐帧顶点运动轨迹预测,还能将提取出的角色动作迁移到其他视频中。
Llama、通义千问、DeepSeek 等开源大模型的新版本,以及值得一用的开源数据集、框架和开发工具。
研究团队开源 4D 动态生成模型 Motion 3-to-4。它能从单视角视频中直接重建高保真 4D 动态物体,把任务拆解为静态 3D 形状与逐帧顶点运动轨迹预测,还能将提取出的角色动作迁移到其他视频中。
Overworld 开源实时交互式视频模型 Waypoint-1 及推理库 WorldEngine,支持通过键鼠实时操控画面。该模型基于上万小时游戏视频训练,在 RTX 5090 上最高可达 60 FPS 且近乎零延迟。不过目前画面一致性较弱且存在幻觉,已开放 2.3B 小型版本下载。
LightOn 开源端到端视觉语言 OCR 模型 LightOnOCR-2-1B。模型仅 1B 参数,在 OlmOCR-Bench 上不仅超越 9B 的 Chandra-9B,推理速度还比 DeepSeekOCR 快 1.73 倍。全系列采用 Apache 2.0 协议,同步开放了检测图片边框的变体与 1600 万页标注数据。
Meta 开源 3D 重建框架 ShapeR。它结合 SLAM 点云与多模态数据,能把随手拍摄的视频序列直接拆解,为场景中的每个物体生成具备真实度量尺寸的独立 3D 网格。这解决了以往 3D 生成将场景糊成一体、无法单独编辑物体的难题。
FlashLabs 开源端到端实时语音对话模型 Chroma 1.0。它无需经过文本中转,能直接接收音频输入并同步生成语音与文字回复;输入一段参考音频即可实现个性化声音克隆。模型参数约 4B,采用 Apache-2.0 协议开源,目前仅支持英语。
研究团队开源多主体动画模型 CoDance,解决了角色与驱动姿态错位就无法动起来的难题。它先解绑动作与空间位置,再通过文本和遮罩把动作精准指派给目标角色,无论画面里有几个人、什么画风都能生成协调动画。目前代码与权重已全部开源。
Google 推出开源翻译模型系列 TranslateGemma,提供 4B、12B 和 27B 三个尺寸。模型基于 Gemma 3 并蒸馏了 Gemini 的能力,支持 55 种语言,12B 版本效果反超原本 27B 基准,且保留了直接翻译图片内文字的能力。
开源音乐基础模型 HeartMuLa 发布,输入曲风提示词和歌词即可一键生成含人声与伴奏的完整歌曲。目前已开放 30 亿参数版本,权重约 16GB,支持中英日韩西多语言,旋律一致性与歌词跟随度极高。这意味着学术级资源也能做出逼近顶级闭源商业水准的整曲生成工具。
Black Forest Labs 发布图像生成模型 FLUX.2 klein,能在 13GB 显存的消费级显卡上实现亚秒级生图与编辑。模型提供 API 与本地部署支持,其中 4B 版本采用 Apache 2.0 协议开源,9B 版本开放权重,官方同步上线了免费 Demo。
Black Forest Labs 推出快速图像生成模型 FLUX.2 [klein],主打亚秒级推理,官方称比竞品快 30% 以上。新模型分为 9B 与 4B 两种规格,其中 4B 版本采用宽松的 Apache 2.0 开源协议,最低仅需 8.4GB 显存即可本地部署,且官方提供了免注册体验 Demo。
NVIDIA 推出全双工语音对话模型 PersonaPlex,支持端到端边听边说与实时打断。只需一段人设文本和参考音频,它就能克隆声线并自然接话或插话。最值得关注的是,它彻底打破了以往全双工交互与自定义角色不可兼得的死结。
Kyutai 开源轻量级语音合成工具 Pocket TTS,仅 1 亿参数,专为 CPU 设计且无需 GPU。在 MacBook Air M4 上仅用 2 核即可实现 6 倍实时速度,首包延迟约 200 毫秒,支持声音克隆与超长文本,代码与模型均已公开。
开发者开源微型音频超分模型 NovaSR。模型体积仅约 52KB,架构不足 10 层卷积,单张 A100 上运行速度可达 3600 倍实时,能把 16kHz 的发闷音频还原为 48kHz 高清声音。它几乎不占显存,非常适合塞进端侧设备或给 TTS 实时提质。
ShowUI-Aloha 正式开源,这是一款通过人类示范学习的电脑操作智能体。只需用户录屏演示一次订票或改表格,系统就能提取语义轨迹并在相似任务中自主执行,在 OSWorld 评测中达到 60.1% 的成功率。代码遵循 MIT 协议。
开源图像编辑模型 VIBE 正式公布,采用 2B 参数的 Qwen3-VL 搭配 1.6B 的 Sana 1.5。在 H100 上编辑 2K 图像约需 4 秒,蒸馏版本更压至 2 秒以内。最值得关注的是,它用极小参数量实现了出色的原图一致性保留。
UniSH 开源了统一前向 3D 重建框架。无需复杂的迭代优化,仅凭一段有镜头抖动或复杂动作的普通视频,单次推理就能同步还原出场景 3D 点云、相机轨迹以及带公制尺度的人体姿态。代码已在 GitHub 开源,支持本地部署运行。
腾讯开源文生 3D 动作模型 HY-Motion 1.0,基于 DiT 架构与 flow matching,参数量超 10 亿。它涵盖 6 大类逾 200 种动作,并采用预训练到强化学习的完整流程优化物理真实感,生成的 3D 资产可直接接入动画管线。
fal 推出 FLUX.2 [dev] Turbo 图像模型。借助 DMD2 蒸馏技术,模型推理步数从 50 步骤减至 8 步,生成单张 1024 分辨率图片仅需 6.6 秒,成本约 0.008 美元。该模型权重已在 Hugging Face 开放,但遵循非商用许可,商用需走 fal 官方 API。
Liquid AI 发布实验模型 LFM2-2.6B-Exp。它基于 LFM2-2.6B 采用纯强化学习训练,在指令遵循、知识和数学基准上超越其他 3B 级别模型,其中 IFBench 得分超过了体积为其 263 倍的 DeepSeek R1-0528。模型已在 Hugging Face 开源。
阿里通义千问开源 Qwen-Image-Layered 图像拆解模型。它能把整张图片直接拆解为带透明通道的 RGBA 图层,支持提示词指定 3 到 10 层,甚至可在图层里套层无限细拆。设计师以后拿到 AI 图片不用再费劲抠图,直接就能分层编辑。