Meta 推出 Emu Edit 与 Emu Video:指哪改哪的图像编辑和四秒视频生成
Meta 公布两项基于 Emu 模型的 AI 研究成果:Emu Edit 和 Emu Video。Emu Edit 主打精确的文本指令图像修图,只动指令相关的像素;Emu Video 则用简化的扩散模型架构生成 4 秒短视频。这项研究目前仍处于研发阶段。
想给照片里的人换件衣服,或者在棒球帽上加几个字,很多 AI 工具一出手,整张照片的脸型、光影全变了。最后你只能不停改提示词碰运气。
Meta 拿出了两项生成式 AI 研究成果:精准修图工具 Emu Edit 和视频生成工具 Emu Video。它们都基于 Meta 在 9 月 Connect 大会上发布的 Emu 图像基础模型,核心解决的就是「听话」和「精准」的问题。
改该改的,别动不该动的
以往很多文生图工具修图时,要么下手太重改得面目全非,要么指令执行不到位。Meta 研究团队提出,AI 修图的核心不只是做出一张看起来合理的图,而是只去动那些跟指令相关的像素。
举个例子,如果你让它在棒球帽上写个「Aloha!」,它就只在帽子相应位置写字,帽子本身的纹理、颜色和背景都原样保留。Emu Edit 能够通过纯文字指令做局部或全局修改、换背景、改颜色、变形,甚至做目标检测和图像分割。
为了让它听懂指令,Meta 专门造了一个包含 1000 万个合成样本的数据集。每个样本都由原图、任务描述和目标效果图组成,涵盖 16 种图像处理任务。Meta 称这是同类中最大的数据集,借助这些训练,Emu Edit 还能举一反三,在面对图像修复或超分辨率等新任务时,只靠少量标注就能上手。
视频生成不用再叠罗汉
过去的 AI 视频生成往往结构臃肿,比如 Meta 之前的 Make-A-Video 就需要串联 5 个模型。这次的 Emu Video 换了个思路,走分步拆解路线。
整个过程就两步:先根据文本提示词生成一张图片,再结合提示词和这张图片生成视频。令人意外的是,这种拆解方式只需要 2 个扩散模型就能搞定,可以直接生成 512x512 分辨率、每秒 16 帧的 4 秒视频,团队实验还试过生成 8 秒视频。
Emu Video 不仅支持文生视频,还支持直接输入静态图片加上提示词让画面动起来。为了测试效果,Meta 设计了一套名为 JUICE 的人类盲测打分机制。结果显示,在与早期 Make-A-Video 的对比中,96% 的受试者认为 Emu Video 画质更好,85% 的人认为它更符合提示词要求。在与 Pika Labs 等外部产品的对比里,Emu Video 在画质和提示词贴合度上也有超过 95% 的胜率;面对 Google 的 Imagen Video,Emu Video 在画质偏好上也达到了 81.8%。
为什么重要
这两项成果目前还停留在研究阶段,普通用户还没法直接下载独立工具。不过 Meta 在社交生态里的意图已经非常明显:普通人以后不需要精通 Photoshop,用一两句聊天口吻的文字就能修照片,或者随手把自己拍的静态照片做成动图表情包,直接发在 WhatsApp、Messenger 或 Instagram 上。
我们认为,Meta 这次最聪明的做法是架构上的克制。在视频生成上,它没有继续硬堆 5 个模型,而是通过先出图、再补动态的两步法,用 2 个扩散模型实现了更高的执行效率和画质。而在修图上,它给行业划了一条新标准:生成式修图的难点不在于「生成」,而在于「克制」,也就是不该碰的像素一个都别碰。
不过隐患也同样摆在眼前。合成数据集虽大,但当用户面对真实世界中复杂的光影变化和刁钻角度时,局部编辑会不会依然出现边缘撕裂或者光影不自然,还得等它真正端出来接受检验。无论如何,Runway、Pika 等专注做生成式工具的团队,现在必须直面科技巨头在模型效率和社交分发上的双重压力了。
来源 (3)
- ai.meta.com(在新标签页打开)原文ai.meta.com
- siliconangle.com(在新标签页打开)报道siliconangle.com
- the-decoder.com(在新标签页打开)报道the-decoder.com