跳到正文
IFAI

开源项目

EditCrafter 开源:无需微调支持 4K 图像编辑,吃 24GB 显存

首次发布 传播指数 48

免微调图像编辑工具 EditCrafter 开源,支持直接对最高 4K 分辨率的大图进行修改。它能在不重新训练的情况下保留原图细节与结构,但出图偏向高对比度与高饱和度;本地运行 4K 编辑需要 24GB 显存。

EditCrafter 开源:无需微调支持 4K 图像编辑,吃 24GB 显存
图:arxiv.org

用 AI 修改图片,很多人最头疼的不是指令写得好不好,而是图片稍微大一点,模型就直接认栽。

目前绝大多数主流的扩散模型,训练时处理的尺寸大多只有 512×512 或者 1024×1024 像素。拿一张几千万像素的高清照或者 4K 大图直接丢进去,模型往往会把画面切碎拼凑,生成一堆重复变形的鬼影。

免微调图像编辑工具 EditCrafter 正式开源并发布了论文。它的核心目标很简单,就是让你拿着现成的文生图扩散模型,直接去修改最高 4K 分辨率的大图,而且中途不需要针对每张图重新训练或做模型微调。

它是怎么绕过重新训练的

如果直接把高清大图切成小块送进模型里改,块与块之间对不上,很容易出现奇怪的结构错误和多余物体。

EditCrafter 给出的方案分为两步。首先是分块反演,它先将高分辨率图片切块反推回模型的潜在特征空间,在这个阶段稳住原图的轮廓和主体身份,保证改动前后的细节不会彻底乱套。

紧接着,研究团队提出了一种被称为 NDCFG++ 的噪声阻尼流形约束无分类器引导机制。说白了,它是专门针对从高分辨率潜在特征还原图像时设计的引导策略,防止画面在一步步去噪生成的过程中崩溃崩塌。

在实际演示中,EditCrafter 展现了跨越常见画幅的编辑能力。比如一张超过 4000×2000 分辨率的照片,它可以顺畅地将画面中的樱花替换成枫叶;或者把一张普通的白天风景改造成日落沙漠,把天空中的月亮换成地球。

面对一张 4096×2496 的真正 4K 森林大图,它也可以直接按照指令把树林改造成燃烧的烈火,或者就地变成巨石阵,同时保住画面原本的纹理和景深感。

能跑,但硬件和成色都有门槛

虽然不用微调,但并不代表它是一个没有门槛的玩具。

首先是硬件需求。官方在开源页面中提供了完整的本地运行代码和环境配置说明,但如果你打算处理真正的 4K 图片,本地显卡至少需要 24GB 显存。这意味着普通的消费级游戏显卡吃不消,基本要上一张 RTX 3090、4090 或专业工作站显卡才能跑通。

其次是目前的成色问题。从实际编辑效果来看,它还不是一个完美的图像编辑器。

测试发现,EditCrafter 生成的图片在色彩上和原图并不完全一致,输出倾向于增加额外的对比度和饱和度,有时会出现颜色过艳、略显过饱和的痕迹。追求色彩精准还原的设计师,可能还需要自己拉回修图软件里补一手调色。

为什么重要

我们认为,EditCrafter 最聪明的地方在于它没有试图去重新造轮子,而是把精力花在「怎么榨干现有模型」上。

重新训练一个原生支持 4K 的扩散模型,算力和数据成本高得吓人。EditCrafter 走了一条纯粹的免调优管线,证明现有的开源生图底座本身就包含了足够丰富的高阶视觉先验,只是以前缺少把大图安全送进去再完整拿出来的机制。

对开发者和有条件的创作者来说,它提供了一个现成的本地化方案,让壁纸级大图和高分摄影素材的指令级重绘变得可行。即使颜色有些偏重,也比过去不得不先缩放、再编辑、最后靠超分辨率放大脑补细节的折腾流程要直接得多。

但看起来,它离面向大众的傻瓜化应用还有一段距离。24GB 显存的门槛把绝大部分轻度用户挡在了门外,过饱和的调色倾向也说明算法在引导特征时对亮度和色度的控制还有优化空间。接下来如果有团队能在此基础上做出显存优化和更克制的色彩对齐,这类免微调高清编辑才算真正进入实用期。

来源 (1)

  1. [1]

每日 AI 内容精选