字节开源统一模型 Lance:图像与视频的理解、生成、编辑全打通
字节跳动开源统一多模态模型 Lance,激活参数 30 亿,同时支持图像与视频的理解、生成及编辑。最关键的是,它不仅能看懂画面,还能通过多轮对话连续修改视频。不过本地运行门槛较高,至少需要一块 40GB 显存的 GPU。
字节跳动开源统一多模态模型 Lance,激活参数 30 亿,同时支持图像与视频的理解、生成及编辑。最关键的是,它不仅能看懂画面,还能通过多轮对话连续修改视频。不过本地运行门槛较高,至少需要一块 40GB 显存的 GPU。
腾讯开源多语言翻译模型系列 HYMT2,覆盖 18 亿到 300 亿参数,支持 33 种语言。该模型专门优化了指令遵循能力,能在翻译时严格保留占位符、JSON 及排版格式,最小的 1.8B 版本甚至能在手机端运行。
Sapient Intelligence 开源 HRM-Text 预训练框架,主打用约 1000 美元算力从零训练 1B 参数推理模型。它基于分层循环架构,号称算力减少 130 至 600 倍、数据需求降至千分之一,在 GSM8k 达到 84.7%。目前全套代码已在 GitHub 按 Apache 2.0 开源。
开发者 Neilson 开源了一套适配 Anthropic Claude Code 的 3D 生成工具包。该工具仅需输入单张图片,即可自动生成包含网格、物理模拟、光照和音频组件的完整 3D 环境,让开发者在 Claude Code 中无需手动建模也能快速搭建 3D 场景。
研究团队开源带关节 3D 资产生成系统 Articraft 及超 1 万个资产的数据集。它把 3D 建模转化成编程问题,由 AI 智能体写代码定义部件与铰链关节,并自动运行测试。生成结果能真正活动,大幅降低了机器人仿真和 VR 资产的制作门槛。
英伟达发布交互式世界模型 SANA-WM,仅 26 亿参数即可将单张图像转化为可键盘漫游的 720p 视频。其蒸馏版本在单张 RTX 5090 上仅需 34 秒即可生成 1 分钟片段。官方表示权重即将开源。
研究团队开源游戏世界模型 ReactiveGWM。它将玩家按键操作与 NPC 策略解耦,允许玩家一边按键出招,一边用提示词指挥对手进攻或防守。模型基于 Wan 2.2 构建且相对轻量,可在本地中高端显卡上运行。
开发者在 Hugging Face 上线适配 LTX-Video 的皮克斯风格 LoRA。该模型未采用影视原作版权素材,能赋予画面大眼睛与电影级光影等 3D 动画质感。模型支持触发词「P1x4r」,可在 Diffusers 或 Draw Things 中直接加载运行。
面壁智能联合清华大学及 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.6。模型仅 1.3B 参数,约 6GB 内存即可在端侧设备流畅运行,性能超越同级 Qwen3.5-0.8B,计算 Token 消耗仅为其十九分之一。这大幅降低了端侧多模态部署门槛,一张消费级显卡即可完成微调。
开源图像生成模型 L2P 发布。该模型彻底移除了传统扩散模型中的 VAE 和潜空间,直接在像素空间生成图像,最高可支持 4K 分辨率。最值得关注的是,它避免了潜空间转换造成的画质损失;目前已开源代码与 20GB 大小的 1K 分辨率模型权重。
SenseNova 开源统一多模态模型 SenseNova-U1.5-8B-MoT,采用 Apache 2.0 协议。它跳过了传统的潜空间与 VAE 编解码步骤,直接在像素空间端到端生成原生 4K 图像,并支持通过自然语言修改文字与局部元素。不过模型权重约 50GB,本地部署对显卡要求较高。
Vivago AI 开源图像生成模型 HiDream-O1 Image,直接在像素空间端到端处理,去掉了传统的 VAE 架构。它最高支持 2048×2048 分辨率,不仅能做语义级编辑,还攻克了开源模型最头疼的文字渲染和复杂海报排版。模型提供完整版和轻量 dev 版,但 32GB 的体积对本地显存提出了较高要求。
一款 20 亿参数的开源文本转语音模型发布,只需几秒音频即可实现零样本声音克隆,连耳语和结巴等细节也能还原。该模型支持跨语言合成,基础大小仅约 5GB,能在消费级显卡上运行,并采用 Apache 2 许可证完全开放商用。
ScenemaAI 开源情感语音模型 Scenema Audio。它从 LTX 2.3 中提取出音频扩散架构,允许用舞台动作标签实时控制情绪起伏与环境音效,还支持零样本声音克隆。模型最低仅需 16GB 显存即可本地运行,支持 13 种语言。
开源动漫图像模型 Zanime 正式发布,由开发者基于阿里 Z-Image Base 架构全量微调而成。模型拥有 60 亿参数,不仅提供 6GB 大小的 FP8 版本,还推出 4 步极速蒸馏版,8GB 显存也能轻松跑。它改用自然语言提示词替代传统 tag 列表,支持任意比例生图。
Anthropic 宣布将开源 AI 对齐测试工具箱 Petri 移交给评估非营利机构 Meridian Labs,并更新至 Petri 3.0。新版本拆分了审计与目标模型,引入「Dish」插件模拟真实部署环境,并集成深度评估工具 Bloom。此举旨在确保对齐测试的独立与中立。
Google 为 Gemma 4 系列模型推出多 Token 预测(MTP)草稿模型。该方案采用推测解码技术,由轻量草稿模型先行预测多个 Token,再由大模型并行验证,在保证质量零损耗的同时实现最高 3 倍推理加速。草稿模型已按 Apache 2.0 开源,支持 vLLM 与 Ollama。
开源工具 book-to-skill 能将技术书或文档编译为符合 Agent Skills 标准的结构化文件。它一次性提取章节架构,后续按需调用对应章节,单次查询仅约 5K token,比整书塞入上下文省下 24 到 51 倍消耗。支持 Claude Code、Copilot CLI 等多端使用。
OpenAI 联合 AMD、Broadcom、Intel、微软与 NVIDIA 通过 OCP 开源了 MRC 网络协议。它能将数据切片分散到数百条网络路径,并在微秒内绕开硬件故障。该协议已部署在 GB200 超算集群中,成功保障了多个前沿模型的平稳训练。
OpenClaw 官方就 2026.4.29 版本出现的网关变慢、插件依赖修复死循环及多渠道卡顿致歉。问题源于将核心模块拆分至 ClawHub 过程中的过渡混乱。团队宣布将精简核心并明确插件边界,计划 5 月底推出 LTS 版本,同时在 OpenAI 协助下扩充维护团队。
开源工具 Sprite-Pipeline 能将 AI 视频转为游戏可用的 2D 精灵图。它通过 FFmpeg 抽帧、抠图去背景,并拼成 256×256 的透明横向序列帧,可直接导入 Unity 或 Godot。项目还附带浏览器预览器与 AI 提示词规范,帮独立开发者低成本落地角色动画。
专为 AI Agent 设计的 React 幻灯片开源框架 open-slide 上线。它让 Claude Code 或 Cursor 直接把需求写成 1080p React 组件,支持画布可视化微调与批注修改,可导出 PDF 与 PPTX。以 MIT 协议开源。
动作捕捉模型 Mocap Anything v2 正式开源。它支持从普通单目视频中直接预测任意骨骼结构的旋转与动作,人类、动物或虚构生物都能套用。模型采用完全端到端训练,解决了传统算法导致的关节翻转与抖动,大幅降低了 3D 动画制作门槛。
商汤科技开源统一多模态模型 SenseNova U1。它采用自研架构完全拿掉视觉编码器,端到端打通像素与文本,能同时处理视觉推理、高难度信息图排版与图文连续创作。不过在写实肖像生成上,人物皮肤仍稍显塑料感。
AI 终端应用 Warp 宣布正式开源其代码库,并同步公开产品路线图。作为此前长期保持闭源的开发者工具,这次转向让外部开发者可以直接审查底层代码、提交贡献并基于平台构建。公开路线图也让后续功能规划更加透明。
开源框架 SymphonyGen 发布管弦乐生成模型与代码。它采用 3D 分层架构,先构建节拍量化的多声部「和声骨架」,再扩展成完整的多乐器管弦编配,并用 GRPO 强化学习抑制不和谐音。用户可直接输入自定义 MIDI 和声骨架让模型编曲。
AI 初创公司 Poolside 正式发布两款专为智能体编程设计的基座模型 Laguna M.1 与 Laguna XS.2。其中 XS.2 为 33B 架构(激活 3B),采用 Apache 2.0 协议开源且单 GPU 即可运行。团队还同步开放终端编程智能体 pool 和云沙箱 Shimmer 预览版,两款模型限时免费可用。
OmniShotCut 是一款专用于视频剪辑分析的轻量 AI 工具,能自动识别视频中的硬切、溶解、淡入淡出及滑动等转场并标记时间戳。模型体积仅 164MB,支持本地部署运行,目前已在 Hugging Face Space 上线免费试用体验。
OpenAI 开源编程智能体编排规范 Symphony。该规范将 Linear 等任务看板作为控制中心,为每个待办工单自动分配专职 Codex 智能体常驻执行,人类仅负责审核。OpenAI 内部团队借此使合并 PR 数量提升 500%,解决了人工多线程盯梢智能体的注意力瓶颈。
复旦大学团队提出实时流式数字人生成框架 Hallo-Live,能直接由文本同步合成语音与肖像视频。在两块 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延迟仅 0.94 秒。它将双流扩散与偏好引导蒸馏结合,解决了交互式数字人延迟高与音画脱节的痛点。
Scenema AI 开源语音生成模型 Scenema Audio,它从 LTX 2.3 提取而来,支持将声音音色与情绪表演解耦。只需几秒参考音频,就能靠提示词里的舞台指示改变情绪、呼吸节奏甚至口音,还能中途切换状态。量化版本最低需 16GB 显存并在本地运行。