跳到正文
IFAI

开源项目

商汤开源 SenseNova U1:端到端连贯输出图文与复杂信息图

首次发布 传播指数 48

商汤科技开源统一多模态模型 SenseNova U1。它采用自研架构完全拿掉视觉编码器,端到端打通像素与文本,能同时处理视觉推理、高难度信息图排版与图文连续创作。不过在写实肖像生成上,人物皮肤仍稍显塑料感。

商汤开源 SenseNova U1:端到端连贯输出图文与复杂信息图
图:sensetime.com

以前想让 AI 做一张带完整文字说明的信息图,流程往往繁琐得像条流水线:先用视觉模块看图,再交给语言模型推理,最后调度另一个画图模型出图。环节一多,文字容易打架,排版也经常变形。

商汤科技宣布开源自研的端到端统一多模态模型 SenseNova U1。它最激进的地方,在于把这条流水线上的中间环节全拆了。

扔掉中间商,像素直接对话语言

大多数多模态模型在底层其实是拼装起来的,通常由独立的视觉编码器、语言大模型和图像生成模块通过适配层拼接。这种拼装方案跨模块传递信息时不仅开销大,细节和语义也很容易丢失。

SenseNova U1 建立在商汤 3 月推出的 NEO-Unify 架构之上。它彻底拿掉了视觉编码器和变分自编码器,直接在单一模型内把像素和文本打通,将理解、推理和生成收敛进同一个统一表征空间。

这次开源的是轻量化的 SenseNova U1 Lite 系列,包含两个版本:采用密集骨干网络的 U1-8B-MoT,以及采用混合专家架构的 U1-A3B-MoT。商汤把它概括为「小尺寸,大能力」。

擅长排版和解谜,但人脸依然有塑料感

架构彻底打通后,SenseNova U1 展现出了很不一样的能力偏向。它最擅长的不是简单的文生图,而是极为复杂的图文混排与结构化内容。

比如在制作复杂海报、中文多步骤说明图(如制作果汁的教程)或者多面板信息图时,它不仅能精准渲染大量中英文字符,还能维持版面的工整与层级,表现接近顶级闭源商业模型。它还支持连续的图文交错创作,单次模型调用就能交替输出文字说明与分镜画面。

在视觉推理和谜题解答上,SenseNova U1 也能直接分析图像逻辑。测试基准显示,它在空间理解和视觉推理上不仅超过了 Nano Banana、GPT image 2,也领先于 Qwen 3.5、Gemma 4 以及 Zimage 和 Ernie 等开源模型。

不过它也并非没有短板。如果拿它来生成写实人物肖像,人物的皮肤质感往往偏塑料感,看起来有些失真。如果你追求极致写实的人像摄影质感,目前像 Flux Klein 或 Zimage 仍然是更合适的技术路线。此外,修改夹克颜色、改动表情这种常规编辑能力虽然健全,但也算不上它的专属护城河。

为什么重要

我们认为,SenseNova U1 最大的价值,在于为开源社区验证了一条摆脱「模块拼接」的新路线。

对于需要频繁制作海报、长图文教程、说明书和分镜脚本的创作者或开发者来说,这款 8B 级别的模型非常值得一试。以前需要调用两三个模型协同、还要写大量胶水代码才能跑通的图文生成任务,现在用一个紧凑的端到端模型就能单次出结果,部署和维护成本都降了一大截。

从行业竞争来看,过去一年里多模态模型一直在靠外挂模块拼参数。商汤用一个 8B 体量的模型,在复杂信息图排版和多模态推理上逼近甚至反超部分闭源大家伙,证明了原生统一架构的效率优势。这种统一架构不仅简化了文生图的链条,也为具身智能系统提供了一个将感知、推理与动作执行合为一体的潜在底座。

当然,端到端架构也意味着模型很难靠单点打补丁来掩盖缺陷。它在写实人像上的塑料感,说明原生统一表征在平衡细粒度真实质感与高层抽象排版时仍然面临取舍。但总体而言,这一步走得相当干脆,也让小参数多模态模型的实用性向前迈了一大步。

来源 (1)

  1. [1]

每日 AI 内容精选