跳到正文
IFAI

开源项目

SenseNova 开源 U1.5-8B:不用 VAE 解码,直接在像素空间出 4K 图

首次发布 传播指数 48

SenseNova 开源统一多模态模型 SenseNova-U1.5-8B-MoT,采用 Apache 2.0 协议。它跳过了传统的潜空间与 VAE 编解码步骤,直接在像素空间端到端生成原生 4K 图像,并支持通过自然语言修改文字与局部元素。不过模型权重约 50GB,本地部署对显卡要求较高。

SenseNova 开源 U1.5-8B:不用 VAE 解码,直接在像素空间出 4K 图
图:huggingface.co

SenseNova-U1.5-8B-MoT 是一个刚开源的原生统一多模态模型,能帮你直接生成原生 4K 高分辨率图像,或者用自然语言精准修改已有图片。

它最核心的技术变化,是完全抛弃了大家常用的潜空间和 VAE 编解码器架构。

跳过 VAE,直接在像素空间作画

现在绝大多数图像生成模型,走的大多是同一个套路:先把图像压缩进低维度的潜空间(Latent Space)里生成,最后再用变分自编码器(VAE)把它解码还原成像素图片。这样跑起来确实省算力,但也经常会因为解码过程丢掉细节或产生模糊伪影。

SenseNova-U1.5-8B-MoT 则是基于 NEO-unify 架构,直接在像素空间(Pixel Space)里端到端生成图片。它增强了 patchify 层与数据分布,不仅绕过了额外的编码和解码环节,还能稳定输出原生 4K 分辨率的画面。

在生成质量上,它主打逼真的照片感、光影层次和中英文文字渲染。海报、信息图这种文字密集的复杂设计,模型能够理清版式层级,减少文字崩坏的情况。

除了文生图,它还支持可靠的原生图像编辑。你可以像用聊天工具一样,用自然语言让它换掉画面里的外套颜色、修改海报文字、删除或替换某个特定物体,甚至支持输入多张参考图进行跨图编辑。如果你在原图上画框做标注,它也能识别并只修改指定区域,尽量不破坏原图的构图、光影和人物长相。

部署门槛和当前局限

这个模型基于 Apache 2.0 协议开源,代码放在 GitHub 的 OpenSenseNova/SenseNova-U1 仓库,权重则发布在 Hugging Face 上。

上游开发环境建议使用 Python 3.11、PyTorch 2.8 和 CUDA 12.8,支持 FlashAttention 配置。你可以直接克隆仓库,通过 uv sync 安装依赖后,用官方提供的脚本跑文生图与图像编辑测试。

不过,要在本地跑起来成本并不低。整个模型权重文件大概有 50GB,必须搭配高端显卡才能带得动。官方表示后续可能会推出量化和压缩版本,降低显存门槛。

官方也在文档中坦白了一些现阶段的问题。例如某些提示词可能会导致画面细节过密或色彩过饱和,需要调低 cfg_scale 来缓解;遇到特别密集的小字号文字,依然可能会拼错;小尺寸人脸、手部和肢体结构偶有不稳定;面对大范围或多轮复杂编辑时,主体一致性也可能发生偏移。

为什么重要

如果你是从事视觉设计、海报排版的创作者,或者在研究多模态端到端生成的开发者,这个模型很值得拉下来跑跑看。它把中英文文字渲染和自然语言局部编辑做到了同一个模型里,比起拼装几个工作流去改字改图要省事很多。

更关键的是,它证明了不用潜空间压缩、直接在像素空间端到端做 4K 生成这条路在开源领域走得通。虽然 50GB 的体量把大多数普通个人电脑挡在了门外,但只要社区跟进完成量化适配,这种不依赖 VAE 的像素级控制能力,很可能会成为开源图像生成工具的新标配。

来源 (2)

  1. [1]
  2. [2]

每日 AI 内容精选