跳到正文
IFAI

AIGC

字节推出 DreamLite:3.9 亿参数端侧模型,手机离线生图编辑只要 3 秒

首次发布 传播指数 41

字节跳动公布轻量图像模型 DreamLite,仅 3.9 亿参数即可在手机端完全离线运行。它兼顾文本生图与图像编辑,在 iPhone 上生成一张 1024×1024 肖像图约需 3 秒,还能直接换背景或改画风。虽然写实细节不及云端大模型,但大幅压低了手机端修图的延迟与算力门槛。

字节推出 DreamLite:3.9 亿参数端侧模型,手机离线生图编辑只要 3 秒
图:arxiv.org

很多人在手机上修图时最烦的其实不是效果,而是等待:选完指令后手机开始转圈,有时要等上好几秒甚至十几秒,一旦走进地铁或者地下车库没信号,AI 功能就直接罢工。

字节跳动发布了一项名为 DreamLite 的研究。他们做出了一个参数量仅有 3.9 亿的超轻量扩散模型,不仅能完全跑在手机本地,而且同时把文生图和图像编辑装进了一个模型里。

在 iPhone 17 Pro 上实测,本地离线生成一张 1024×1024 分辨率的「年轻女子与花朵」肖像图大约只需要 3 秒。如果换到小米 14 上,配合 4 步去噪蒸馏技术,生成或编辑一张同等规格图片的时间甚至被压到了 1 秒以内。

3.9 亿参数塞进手机,还能边生图边修图

此前跑在手机端的小模型大多只能做单纯的文生图,一旦涉及局部修改或者风格重绘,就得依赖体积更大的模型或者直接连云端。

DreamLite 改变了这一点。它不仅能无中生有地画图,还能根据文字提示修改已有画面。比如直接把一张普通风景图换成油画风或水彩风,或者把画面中的白昼改成冰封雪湖的冬日景象,几秒钟就能给出结果。

在局部编辑上,它也支持移除画面中的鸟类、给天空加一道彩虹、替换仙人掌照片的背景,或者整张图改成赛博朋克风。

当然,受制于仅 3.9 亿的体量,它在写实照片的人物皮肤纹理、动物毛发等极限微距细节上,和云端动辄几十亿参数的顶级模型相比依然有差距。但放在同等体量甚至稍大一些的端侧模型里,它的画面表现和响应速度都处于前列。

怎么把两个模型挤进同一张单程票

要把图像生成和编辑合二为一,以往的做法往往需要多套网络或者额外的控制分支,这对手机有限的内存和算力来说负担太大。

根据论文披露,DreamLite 采用了剪枝后的轻量化移动 U-Net 作为主干网络,巧妙地在潜空间里使用水平空间拼接来统一输入。做生图任务时,模型接收的是「目标图像加空白区域」的组合;做编辑任务时,输入的则是「目标图像加原始图像」。

为了让这么小的模型同时学会两种技能,团队设计了一套渐进式的联合预训练策略,先训练文生图基础,再训练编辑能力,最后进行联合优化,并辅以高质量微调与强化学习。

最终测试显示,DreamLite 在生图基准 GenEval 上拿到 0.72 分,在编辑基准 ImgEdit 上拿到 4.11 分,不仅远超现有端侧方案,甚至在部分指标上能够比肩某些服务器端的中型模型。

为什么重要

对普通用户来说,这种技术带来的最大改变是无感与安心。你不必担心飞机飞行中或是信号死角无法使用 AI 修图,更重要的是,私密相册里的个人照片完全不需要上传到服务器,所有像素处理都在设备内部闭环完成。

对手机厂商和整个行业而言,端侧多模态模型终于迈过了实用门槛。以往受限于算力,手机内置的修图功能往往只能做特定滤镜或简单消除,而 DreamLite 证明了 0.39B 的极小参数量也能兼顾通用生成与自由语言修图,为未来操作系统原生集成轻量 AI 工具铺平了道路。

我们认为字节跳动这次的技术路径走得非常务实。它没有去硬拼参数规模和极限写实度,而是牢牢咬住了端侧落地最关键的指标:体积极小、延迟压进 1 至 3 秒、单一模型承担双重任务。在移动端体验上,秒级响应和零网络依赖所带来的实用价值,远比堆砌参数更直接。

来源 (1)

  1. [1]

每日 AI 内容精选