Apple 开源修图模型 MGIE:用大白话改图,打字就能调光换配料
Apple 联合加州大学圣巴巴拉分校开源修图模型 MGIE。用户只需输入日常大白话(例如说句「更健康」就能给披萨加蔬菜),模型便能理解意图并完成调光、裁剪或替换元素。代码已在 GitHub 开源,并提供在线 Demo。

MGIE 是 Apple 联合加州大学圣巴巴拉分校开源的一款多模态修图模型,全名是 MLLM-Guided Image Editing。它的用处很简单:让你完全脱离修图软件复杂的菜单和滑块,纯靠打大白话就能修改照片。
它能做什么
像裁剪、缩放、翻转、加滤镜这类基础操作,MGIE 只要一行文字指令就能搞定。但它最聪明的地方,在于能够听懂日常语言并针对画面里的具体物体做修改。
比如在论文里展示的例子中,给模型一张意大利香肠披萨的照片,只要打一句「更健康一点」,它就会自动给披萨添上蔬菜配料。
面对一张在撒哈拉沙漠拍摄、光线偏暗的老虎照片,输入「增加对比度以模拟更多光线」,模型就能准确地提亮暗部细节,而不是粗暴地把整张图拉爆。
它是怎么做到的
MGIE 巧妙地结合了多模态大语言模型的两套能力,把修图拆成两步走。
第一步是把大白话翻译成视觉语言。用户的指令往往很主观,比如「想要更蓝的天空」,模型会先推导出一个明确的视觉目标,识别出天空区域并计算对应的亮度与色彩调整。
第二步则是把这种视觉意图落地到像素上,直接在原图基础上生成合理的编辑效果。研究人员表示,这种双步机制既维持了不错的处理效率,又解决了以往指令模糊导致画面崩坏的问题。
去哪里体验
Apple 已经在 GitHub 上开源了 MGIE 的完整代码,感兴趣的开发者可以直接下载折腾。
如果你不想在本地配置环境,据 VentureBeat 报道,研究团队还在 Hugging Face Spaces 上架了一个在线 Web Demo,上传图片就能直接上手试玩。
目前 Apple 只把 MGIE 作为研究成果展示,还没有公布任何商用落地或整合进自家系统相册的计划。
为什么重要
对普通用户和设计师来说,MGIE 代表了一种修图逻辑的转变:我们不再需要记住那些复杂的调色参数,而是把 AI 当成一个听得懂人话的修图助理。
和 Adobe Firefly 偏向生成式背景填充、以及 DALL-E 3 只能对自己生成的图做微调相比,MGIE 证明了开源多模态模型完全有能力对真实日常照片做精细的局部语义修改。尽管目前它还停留在学术原型的阶段,速度和稳定性还有很大提升空间,但对于正在研究端侧视觉交互的开发者来说,这份开源代码很值得第一时间拉下来跑跑看。
来源 (1)
- theverge.com(在新标签页打开)原文theverge.com