跳到正文
IFAI

开源项目

阿里开源 DeepGen 1.0:5B 轻量模型兼顾图像生成与编辑,还能解迷宫

首次发布 传播指数 48

阿里巴巴开源图像生成与编辑模型 DeepGen 1.0。它采用 5B 参数架构,不仅能渲染文字与多风格生图,还支持换视角、预测画面甚至解迷宫等推理任务。最值得关注的是,其编辑能力在评测中叫板更大体量的模型,不过完整权重达 72GB,本地部署门槛较高。

阿里开源 DeepGen 1.0:5B 轻量模型兼顾图像生成与编辑,还能解迷宫
图:arxiv.org

给 AI 一张图让它改个字或者换个背景,大家已经见怪不怪了。但如果一个图像模型不仅能修图,还能顺手把迷宫给解了,甚至预测画面下一秒会发生什么,事情就变得有意思了。

阿里巴巴正式开源了图像生成与编辑模型 DeepGen 1.0。它的参数规模只有 5B,却把文字渲染、多风格生图、复杂图像编辑以及空间推理塞进了同一个轻量架构里。

能画能修,还能推测下一秒

DeepGen 1.0 主打的是生成与编辑的统一。在文生图方面,它能驾驭多种艺术风格,并且具备可靠的图片文字渲染能力。

在基准测试中,它的文生图水准已经和 Zimage Turbo、Qwen Image Edit 等顶级开源模型站上了同一梯队。

更亮眼的是它的编辑与推理能力。除了常规的画面增删物体、替换主体、照片转动漫风、修改画面内文字,它还能生成场景的另一个视角,甚至推断接下来的动态。

官方还演示了一个有趣的例子:直接给它一张迷宫图片,模型能够一步步推理并画出走通迷宫的路径。在图像编辑的综合对比里,阿里团队表示它的表现甚至超过了 Nano Banana、Cream 以及 Qwen Image 等对手。

5B 体量如何越级打怪

以往做全能型多模态图像模型,行业通常倾向于堆参数,动辄做成几十甚至上百 B 的庞然大物。DeepGen 1.0 之所以能在 5B 规模下实现越级表现,关键在于其架构和训练流程。

研发团队引入了一套名为堆叠通道桥接(SCB)的对齐框架。它从多层视觉语言模型中提取分层特征,并结合可学习的 think tokens,为负责生成的扩散主干网络提供带有结构化推理信息的引导。

在训练上,他们没有盲目堆砌海量算力,仅使用了大约 5000 万个样本。训练分为三步:先在大规模图文对和编辑三元组上做预训练表征同步,再进行混合了生成、编辑与推理任务的联合微调,最后通过 MR-GRPO 强化学习配合多重奖励机制对齐人类偏好。

这套打法效果很直接。在 WISE 评测中,DeepGen 1.0 的得分超过了 80B 的 HunyuanImage 达 28%;在 UniREditBench 上,它也领先 27B 的 Qwen-Image-Edit 约 37%。

阿里这次把代码、权重以及数据集全部放了出来,GitHub 上也给出了详细的使用说明。不过普通玩家先别急着高兴,该模型在 Hugging Face 上的文件总量达到了 72GB,消费级电脑想要直接装下跑起来并不轻松。

为什么重要

从实际使用角度看,DeepGen 1.0 解决了过往图像工具的一大痛点:生成与编辑往往割裂在不同模型里,改图还要反复调用外部工具。

不过,72GB 的总文件体积对个人创作者和独立开发者来说依旧是道硬门槛。在社区推出成熟的量化版本或轻量推理脚本之前,多数人更适合在云端环境测试,而非强行本地部署。

从行业竞争来看,阿里这项成果给图像生成领域指了条新路。它证明了不需要把模型堆到几十 B 的夸张尺寸,只要通过合理的跨层表征对齐和思维引导,紧凑型模型完全能在空间理解与复杂编辑上反超巨型前代。

我们认为阿里选择完全开源训练代码和数据集的做法非常大度,这能极大推动多模态统一模型的研究。接下来的真正考验,在于开源社区能否迅速将这套 5B 架构的推理成本进一步压低,让这种推理级修图能力真正落到普通终端设备上。

来源 (1)

  1. [1]

每日 AI 内容精选