Meta 推出 Chameleon：原生交错生成图文的早期融合大模型

过去大多数所谓的多模态模型，做法其实有点像组装电脑：找一个现成的语言模型，再外接一个视觉编码器，最后把两边的数据硬拼在一起。这种拼装方案虽然能跑，但碰到图文混排的复杂内容，模型往往就开始手忙脚乱。

Meta 最近公布的 Chameleon 模型家族，想把这套拼装逻辑彻底推翻。它直接把图像打碎成类似单词的离散 token，让图像、文字和代码共享同一个词表，从底层就用同一个 Transformer 架构端到端训练。

把图片当文字读，不用外挂解码器

业内把主流的拼装方案叫作「后期融合」，而 Chameleon 走的是「早期融合」路线。它从一开始就面对混在一起的图片和文字，不再区分这块是视觉模块、那块是语言模块。

Meta 研究人员提到，目前市面上最接近这种思路的是 Google 的 Gemini。但 Gemini 在生成图片的阶段，依然依赖独立的图像解码器；Chameleon 则做得更彻底，从输入理解到输出生成，全流程共用同一个统一 token 空间。

为了把这套极难收敛的架构训出来，Meta 消耗了超过 500 万机时的英伟达 A100 显卡。训练数据达到 4.4 万亿 token，涵盖纯文本、图文对以及交错图文序列，最终训出了 70 亿（7B）和 340 亿（34B）两个参数版本。

不偏科的 34B，还能图文混排输出

以往的多模态模型常常有个副作用：视觉能力上去了，纯文本能力就大幅缩水。但从 Meta 公布的测试结果来看，Chameleon 并没有出现明显的偏科。

在纯文本的常识推理和阅读理解测试中，Chameleon 的表现基本追平了 Mixtral 8x7B 和 Gemini-Pro。而在视觉问答（VQA）和图像描述基准上，34B 版本的表现超过了 Flamingo、IDEFICS 和 Llava-1.5，并且用的参数量和提示词样本都更少。

更有意思的是图文混合生成能力。当提示词要求一段文字配一张图交替输出时，人类评测员对 Chameleon 生成的混合文档给出了更高的偏好。它不仅能看懂图文混排，还能顺畅地写出图文混排。

为什么重要

我们认为，Chameleon 最关键的价值在于证明了原生多模态不是巨头的专利黑盒，端到端架构完全能够在工程上走通。过去几个月 OpenAI 和 Google 频频展示多模态大招，但对具体架构和训练细节几乎闭口不提，Meta 这一篇技术预览等于把原生融合的底层设计图直接摆上了台面。

对开发者和创作者来说，真正的图文任意交错生成是很多应用的刚需。比如做图文并茂的教材、图表交错的技术文档，或者根据上下文自动配图的排版工具，现有的拼装模型很难保证图文之间的严密因果关系，而端到端模型才有希望把这种体验做自然。不过 Meta 目前还没开放权重下载，现在还无法直接部署测试。

从技术路线来看，Meta 这一步走得相当坚决，但也伴随着巨大的工程风险。早期融合模型的训练稳定性极难控制，500 万小时 A100 的试错成本也普通团队难以承受的。但看起来，如果 Meta 后续像对待 Llama 一样把 Chameleon 开源，它极有可能迅速成为闭源多模态生态最强劲的替代底座。