商汤开源 SenseNova U1:端到端连贯输出图文与复杂信息图
商汤科技开源统一多模态模型 SenseNova U1。它采用自研架构完全拿掉视觉编码器,端到端打通像素与文本,能同时处理视觉推理、高难度信息图排版与图文连续创作。不过在写实肖像生成上,人物皮肤仍稍显塑料感。
商汤科技开源统一多模态模型 SenseNova U1。它采用自研架构完全拿掉视觉编码器,端到端打通像素与文本,能同时处理视觉推理、高难度信息图排版与图文连续创作。不过在写实肖像生成上,人物皮肤仍稍显塑料感。
Google 为 Google Photos 推出 AI 虚拟试衣功能。它能扫描相册中穿过的衣服建立「虚拟衣橱」,拆分上衣、裤子与鞋子自由混搭试穿并保存造型。不同于去年的网购试衣,该功能专注已有衣物,预计今年夏末先上线 Android,随后扩展至 iOS。
SpAItial 发布 3D 世界生成模型 Echo-2,可将单张照片或文本转化为持久、可交互的 3D 环境。模型支持基于语义分割的局部物体编辑,并能通过 3DGS 在网页端实时渲染,在 WorldScore 基准上全面超越 World Labs 的 Marble 1.1。
Anthropic 发布了一批创意工具连接器,直接打通 Adobe、Autodesk Fusion、Blender、Ableton 等主流软件。用户可以用自然语言在 Blender 与 Fusion 中进行 3D 建模,或批量处理图层与导出资产。AI 不再只是对话框,而是深度嵌入专业工作流。
微软推出视频生成框架 World-R1。它无需改动底层模型架构,基于 Wan2.1 并借助强化学习和 3D 模型反馈将空间约束融入生成过程。这解决了视频几何变形问题,大幅降低了世界模拟的训练成本。
复旦大学团队提出实时流式数字人生成框架 Hallo-Live,能直接由文本同步合成语音与肖像视频。在两块 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延迟仅 0.94 秒。它将双流扩散与偏好引导蒸馏结合,解决了交互式数字人延迟高与音画脱节的痛点。
阿里 Qwen 团队宣布上线文生图模型 Qwen-Image-2.0-Pro。新模型大幅提升了图像质量、多语言文字渲染和指令遵循能力,并在竞技场 Arena 的文生图榜单中排在全球第 9 位。目前该模型已在 ModelScope 开放体验,并同步上线 API。
研究团队提出 Vista4D 框架,能把普通视频转换为包含时间维度的 4D 点云。最值得关注的是,它不仅能以任意相机轨迹重新渲染动态画面,还能直接在点云中增删物体或拼接不同视频。目前代码与模型已开放。
Ideogram 推出自定义模型(Custom Models)功能,允许用户使用自有图像资产而非全网公开数据训练专属生图模型。该功能专门用于保持品牌的艺术风格、字体排版及视觉识别一致性,目前已面向 Team、Pro、Enterprise 会员及 API 开放调用。
Google 发布图像理解与生成统一模型 Vision Banana。它基于 Nano Banana Pro 微调,把语义分割、深度估计和表面法线等感知任务全转成图像生成。测试显示其零样本表现甚至超越 Meta SAM 3 等专用模型,验证了生图训练也能成为通用视觉理解的底座。
一项基于 PlayCanvas 的开源 3D 高斯溅射方案让手机扫描看房成为现实。AI 能将拍摄照片重建为数百万个光云,文件比短视频还小,在浏览器里就能照片级漫游。全景看房成本大幅降至约 200 美元,已有自由职业者开始向房产公司等收费接单。
研究人员提出 3D 重建框架 AnyRecon,只需输入几张未对齐、无序拍摄的照片,就能重建出连贯的 3D 场景。它引入全局场景记忆机制,克服了以往扩散方法视角不一致的缺陷。这意味着随手拍两三张照片,也能拼出可靠的三维模型。
研究人员公布视频生成框架 CoInteract,输入一张人物照和一张产品图即可生成带货视频。它引入双流协同生成架构,在处理像素的同时专门约束人手与物体的几何接触,解决了手部崩坏和穿模问题,让电商内容批量生成更逼真。
Open CoDesign 是一款开源桌面端 AI 设计工具,被视作 Claude Design 的本地替代品。它支持自带 API 密钥接入任意主流模型或本地 Ollama,通过文字或参考素材自主生成可交互 UI 原型、幻灯片与 PDF,并支持实时局部微调与源码导出。
OpenAI 推出 ChatGPT Images 2.0。新模型重点提升了文字渲染与视觉推理能力,支持中文、日文、韩文和阿拉伯文等多种文字排版,并在摄影、漫画等风格上带来更高的控制精度。用户已可直接在 ChatGPT 中使用。
研究团队提出相机可控图像编辑框架 UniGeo。它能将单张图片转为 3D 几何表征,支持用户通过输入精确角度来平移或俯仰镜头,重新渲染新视角。这解决了普通图像生成工具难以精准运镜且容易变形的问题,相关模型即将推出。
研究人员提出统一框架 UniMesh,将 3D 生成与 3D 理解整合到单一架构中。它不仅支持从文本或单张图片生成完整 3D 模型,还能用提示词进行连续编辑,甚至反向给 3D 物体生成描述文本。最值得关注的是,它打破了过去 3D 生成与空间理解相互割裂的局面,让两种能力在一个模型里互相促进。
Canva 宣布接入 Anthropic 的 Claude Design,并上线 HTML 导入功能。用户在 Claude 中生成的草稿与交互式代码可直接导入 Canva,无需反复重写代码,通过拖拽就能改布局、换颜色。这意味着 AI 产出的原型终于能无缝进入团队设计流。
Adobe 公布图像重打光研究 TokenLight。它把强度、颜色和 3D 光源位置转化为标记输入模型,用户能像拖滑块一样在照片里随意加灯并连续调整漫反射。最值得关注的是,模型没靠显式 3D 渲染监督就学会了光线与几何体的交互。不过目前仅发布了论文,暂未开放体验。
Google 宣布为 Gemini 应用引入个性化生图功能,结合 Nano Banana 2 与 Google 相册。用户无需上传参考图或手写长篇提示词,Gemini 能自动调用相册中标记的人物与宠物生成水彩或黏土风格画作。该功能正向美国 Google AI 订阅用户推送。