ACE-Step 1.5 开源:不到 4GB 显存,10 秒本地生成完整歌曲
ACE Studio 与阶跃星辰开源音乐基础模型 ACE-Step 1.5。它显存需求不到 4GB,在 RTX 3090 上不到 10 秒就能生成完整歌曲,支持 50 多种语言且采用 MIT 协议可商用。这意味着创作者无需依赖昂贵的云端 API,在消费级显卡上就能直接做音乐生产。
ACE Studio 与阶跃星辰开源音乐基础模型 ACE-Step 1.5。它显存需求不到 4GB,在 RTX 3090 上不到 10 秒就能生成完整歌曲,支持 50 多种语言且采用 MIT 协议可商用。这意味着创作者无需依赖昂贵的云端 API,在消费级显卡上就能直接做音乐生产。
统一音频理解模型 MOSS-Audio 正式开源,提供 4B 与 8B 规格,均包含 Instruct 和 Thinking 版本。该模型将语音识别、说话人分析、情感检测、环境声及音乐理解集成在单一架构内,时间戳 ASR 精度表现大幅领先 Gemini-3.1-Pro。
Anthropic 开源 Knowledge Work Plugins 插件库,面向销售、法务、市场等非技术岗位。整套插件不含一行代码,纯靠 Markdown 和 JSON 打包工作流与工具连接,适配 Claude Cowork 与 Claude Code。团队只需修改文本文件,就能把内部流程直接沉淀为专属智能体。
WordPress 贡献者发布开源 AI 技能 wp-playground。它基于 Playground CLI 让 AI 编程智能体在几秒内启动本地 WordPress 实例,自动挂载插件或主题并用 Playwright 验证。这意味着像 Claude Code 这类智能体写完代码能立刻自测自纠,告别繁琐的手动调试环境。
OpenMOSS 开源视频生成模型 MOVA,可在单个模型内原生同步生成画面与声音。它采用 320 亿参数的 MoE 架构,运行激活 180 亿参数,支持多语言对口型。代码和权重已上线 GitHub,不过 720p 版本约 77 GB,对显存要求较高。
robbyant 开源基于 Wan2.2 的世界模拟器 LingBot-World。它支持用文本或图片生成可交互环境,能以 16 FPS、低于 1 秒延迟输出 480P 与 720P 画面,并具备分钟级场景一致的长记忆。代码与权重已公开,为互动生成与机器人学习提供了开源方案。
研究团队发布风格迁移模型 TeleStyle,支持通过参考图或文本为图像和视频赋予特定画风。该模型基于 Qwen-Image-Edit 构建,借助课程持续学习与专用的视频模块,在套用新风格时仍能保证画面内容和帧间连贯性。目前代码与预训练模型已开源。
阿里通义团队开源图像生成基座模型 Z-Image。它是此前 Turbo 版本的未蒸馏满血底模,解决了一换种子构图不变、多人同脸的问题,原生支持负向提示词和 LoRA 微调。出图步数增至 50 步,目前已支持在 ComfyUI 中直接运行。
开源自托管 AI 助手 Clawdbot 允许用户通过 Telegram 或 WhatsApp 发送指令,在本地电脑上自动运行脚本、管理文件和回复邮件。最关键的是它能自己写代码扩展新技能,隐私数据全留本地,不过在本地执行任意命令也存在安全风险。
Letta 推出开源插件 Claude Subconscious,让第二个代理在后台默默观察会话并检索代码库。它维护 8 个跨会话记忆块,能在每次提问前把上下文提示悄悄注入 Claude Code,全程异步且不卡工作流。
NVIDIA 推出 Earth-2 开放气象模型家族,提供全开放、加速的气象 AI 软件栈。该系列支持机构在本地基础设施上微调与部署,以色列气象局实测计算时间缩短 90%。目前 Earth-2 Medium Range 等模型已上线 GitHub 与 Hugging Face。
开源本地 AI 语音应用 Voicebox 支持声音克隆与听写,GitHub 标星超 4.2 万。它仅需数秒音频即可克隆任意声音,支持用全局热键在任意输入框语音打字,还能配合 Claude Code 等为智能体配音。这让用户无需再订阅付费平台,即可在本地运行端到端语音能力。
微软开源语音识别模型 VibeVoice-ASR(9B 参数)。它摒弃了传统的切块转录做法,单次可直接处理长达 60 分钟音频,并端到端一体化输出文本、时间戳与说话人分离结果。长会议和播客转录不再担心上下文割裂,代码已开源并支持微调。
腾讯发布并开源混元图像 3.0 图生图模型(HunyuanImage 3.0-Instruct),支持指令修图与多图融合。模型原生内置思维链,生成前会先推理编辑步骤与保留区域。该能力已在腾讯元宝上线,开源权重约 169 GB,对本地显存要求极高。
研究员开源实时分割模型 RF-DETR segmentation,采用 Apache 2.0 协议。模型提供从 Nano 到 2XLarge 共 6 种尺寸,单图推理速度在 3.4 毫秒(40.3 mAP)至 21.8 毫秒(49.9 mAP)之间,兼顾实时性与高精度分割。
阿里推出开源文本转语音模型 Qwen3-TTS,提供 1.7B 和 0.6B 两种尺寸,仅需数秒音频即可克隆音色,还支持用提示词直接定制新声线。模型采用双轨架构,端到端延迟低至 97 毫秒,克隆中文后可直接说多国语言与方言,便于实时交互与有声书制作。
研究团队开源 4D 动态生成模型 Motion 3-to-4。它能从单视角视频中直接重建高保真 4D 动态物体,把任务拆解为静态 3D 形状与逐帧顶点运动轨迹预测,还能将提取出的角色动作迁移到其他视频中。
Overworld 开源实时交互式视频模型 Waypoint-1 及推理库 WorldEngine,支持通过键鼠实时操控画面。该模型基于上万小时游戏视频训练,在 RTX 5090 上最高可达 60 FPS 且近乎零延迟。不过目前画面一致性较弱且存在幻觉,已开放 2.3B 小型版本下载。
LightOn 开源端到端视觉语言 OCR 模型 LightOnOCR-2-1B。模型仅 1B 参数,在 OlmOCR-Bench 上不仅超越 9B 的 Chandra-9B,推理速度还比 DeepSeekOCR 快 1.73 倍。全系列采用 Apache 2.0 协议,同步开放了检测图片边框的变体与 1600 万页标注数据。
Meta 开源 3D 重建框架 ShapeR。它结合 SLAM 点云与多模态数据,能把随手拍摄的视频序列直接拆解,为场景中的每个物体生成具备真实度量尺寸的独立 3D 网格。这解决了以往 3D 生成将场景糊成一体、无法单独编辑物体的难题。
FlashLabs 开源端到端实时语音对话模型 Chroma 1.0。它无需经过文本中转,能直接接收音频输入并同步生成语音与文字回复;输入一段参考音频即可实现个性化声音克隆。模型参数约 4B,采用 Apache-2.0 协议开源,目前仅支持英语。
研究团队开源多主体动画模型 CoDance,解决了角色与驱动姿态错位就无法动起来的难题。它先解绑动作与空间位置,再通过文本和遮罩把动作精准指派给目标角色,无论画面里有几个人、什么画风都能生成协调动画。目前代码与权重已全部开源。
Google 推出开源翻译模型系列 TranslateGemma,提供 4B、12B 和 27B 三个尺寸。模型基于 Gemma 3 并蒸馏了 Gemini 的能力,支持 55 种语言,12B 版本效果反超原本 27B 基准,且保留了直接翻译图片内文字的能力。
开源音乐基础模型 HeartMuLa 发布,输入曲风提示词和歌词即可一键生成含人声与伴奏的完整歌曲。目前已开放 30 亿参数版本,权重约 16GB,支持中英日韩西多语言,旋律一致性与歌词跟随度极高。这意味着学术级资源也能做出逼近顶级闭源商业水准的整曲生成工具。
Black Forest Labs 发布图像生成模型 FLUX.2 klein,能在 13GB 显存的消费级显卡上实现亚秒级生图与编辑。模型提供 API 与本地部署支持,其中 4B 版本采用 Apache 2.0 协议开源,9B 版本开放权重,官方同步上线了免费 Demo。
Black Forest Labs 推出快速图像生成模型 FLUX.2 [klein],主打亚秒级推理,官方称比竞品快 30% 以上。新模型分为 9B 与 4B 两种规格,其中 4B 版本采用宽松的 Apache 2.0 开源协议,最低仅需 8.4GB 显存即可本地部署,且官方提供了免注册体验 Demo。
NVIDIA 推出全双工语音对话模型 PersonaPlex,支持端到端边听边说与实时打断。只需一段人设文本和参考音频,它就能克隆声线并自然接话或插话。最值得关注的是,它彻底打破了以往全双工交互与自定义角色不可兼得的死结。
Kyutai 开源轻量级语音合成工具 Pocket TTS,仅 1 亿参数,专为 CPU 设计且无需 GPU。在 MacBook Air M4 上仅用 2 核即可实现 6 倍实时速度,首包延迟约 200 毫秒,支持声音克隆与超长文本,代码与模型均已公开。
开发者开源微型音频超分模型 NovaSR。模型体积仅约 52KB,架构不足 10 层卷积,单张 A100 上运行速度可达 3600 倍实时,能把 16kHz 的发闷音频还原为 48kHz 高清声音。它几乎不占显存,非常适合塞进端侧设备或给 TTS 实时提质。
ShowUI-Aloha 正式开源,这是一款通过人类示范学习的电脑操作智能体。只需用户录屏演示一次订票或改表格,系统就能提取语义轨迹并在相似任务中自主执行,在 OSWorld 评测中达到 60.1% 的成功率。代码遵循 MIT 协议。
开源图像编辑模型 VIBE 正式公布,采用 2B 参数的 Qwen3-VL 搭配 1.6B 的 Sana 1.5。在 H100 上编辑 2K 图像约需 4 秒,蒸馏版本更压至 2 秒以内。最值得关注的是,它用极小参数量实现了出色的原图一致性保留。
UniSH 开源了统一前向 3D 重建框架。无需复杂的迭代优化,仅凭一段有镜头抖动或复杂动作的普通视频,单次推理就能同步还原出场景 3D 点云、相机轨迹以及带公制尺度的人体姿态。代码已在 GitHub 开源,支持本地部署运行。
腾讯开源文生 3D 动作模型 HY-Motion 1.0,基于 DiT 架构与 flow matching,参数量超 10 亿。它涵盖 6 大类逾 200 种动作,并采用预训练到强化学习的完整流程优化物理真实感,生成的 3D 资产可直接接入动画管线。