Meta 推出 CM3leon：兼顾文生图与图生文，训练算力省 5 倍

以前大家做多模态，习惯各走各的路：看图说话用一套大语言模型，文生图又换成扩散模型。如果想按一句话修图，还得专门挂一个专有小模型。这种拼装车开起来不仅费劲，而且训练成本高得吓人。

Meta 公布的 CM3leon 打算把这堵墙拆掉。这个模型名字念作变色龙，用的是自回归 Transformer 架构，但它能靠同一个模型把文生图和图生文两件事全包了。

拿训大模型的方法去画图

CM3leon 最有意思的地方在于训练配方。Meta 没有用常见的扩散架构，而是直接把纯文本语言模型的那套玩法搬了过来。

他们先用大规模检索增强做预训练，接着再做大规模的多任务监督微调。整个流程说白了，就是把图像当成一种特殊的文本 token，塞进同一个自回归系统里一起算。

效果非常直接。在零样本 MS-COCO 图像生成基准测试中，CM3leon 跑出了 4.88 的 FID 分数。这个成绩不仅拿下了当时的新纪录，还击败了 Google 之前的自回归模型 Parti。

更划算的是算力账本。Meta 表示，训练 CM3leon 所消耗的算力，比以往基于 Transformer 的文生图方法足足少了五倍。即便文本预训练数据只有区区 30 亿 token，它的零样本泛化能力依然能叫板那些用海量数据喂出来的更大模型。

一个模型包揽画图、识图和修图

过去很多图像生成模型最怕复杂的组合指令，比如把几样风马牛不相及的东西拼在一起，或者画局部细节就崩掉全局结构。

Meta 在演示中展示了一批高难度指令，比如戴着草帽和霓虹墨镜在撒哈拉沙漠里的小仙人掌，以及写着 1991 字样的奇幻风停牌，CM3leon 都能把文字约束和细节同时画准。

而且因为同一个模型同时懂图又懂文，它不仅能根据图片回答问题、输出长文本描述，还能直接做指令修图。比如给它一张图并附带一句把天空改成亮蓝色，它就能直接改。

以往这类操作往往需要 InstructPix2Pix 这类专门微调的小模型，而 CM3leon 不需要换零件，一个大一统架构全接了下来。

为什么重要

我们认为，CM3leon 最大的价值在于证明了自回归架构在图像生成上的潜力，没有被扩散模型彻底锁死。

在很多人的既定印象里，生成逼真图像必须靠扩散模型，Transformer 跑图像太重太烧钱。Meta 这次用五分之一的算力代价和 4.88 的 FID 证明，只要检索增强和多任务微调的配方给对，自回归架构完全可以在同一套网络里兼顾理解与生成。

对开发者和产品团队来说，单模型双向全能意味着系统复杂度大幅下降。未来不需要在后端维护多模态理解和图像生成两套完全不同的模型流水线，无论是视觉问答还是精细修图，一个接口就能流式搞定。

不过，它的隐患在于落地成本与推理延迟。尽管训练算力省了五倍，自回归按 token 逐个生成图像的推理速度，在实际工程里往往比扩散模型更难做低延迟优化。Meta 这套成果更偏向技术路线的验证，普通创作者想在日常工作流里用上它，还得看后续开源或工程落地的进展。