Meta 推出 Chameleon：原生交錯生成圖文的早期融合大模型

過去大多數所謂的多模態模型，做法其實有點像組裝電腦：找一個現成的語言模型，再外接一個視覺編碼器，最後把兩邊的資料硬拼在一起。這種拼裝方案雖然能跑，但碰到圖文混排的複雜內容，模型往往就開始手忙腳亂。

Meta 最近公佈的 Chameleon 模型家族，想把這套拼裝邏輯徹底推翻。它直接把影像打碎成類似單詞的離散 token，讓影像、文字和程式碼共享同一個詞表，從底層就用同一個 Transformer 架構端到端訓練。

把圖片當文字讀，不用外掛解碼器

業內把主流的拼裝方案叫作「後期融合」，而 Chameleon 走的是「早期融合」路線。它從一開始就面對混在一起的圖片和文字，不再區分這塊是視覺模組、那塊是語言模組。

Meta 研究人員提到，目前市面上最接近這種思路的是 Google 的 Gemini。但 Gemini 在生成圖片的階段，依然依賴獨立的影像解碼器；Chameleon 則做得更徹底，從輸入理解到輸出生成，全流程共用同一個統一 token 空間。

為了把這套極難收斂的架構訓出來，Meta 消耗了超過 500 萬機時的輝達 A100 顯示卡。訓練資料達到 4.4 萬億 token，涵蓋純文本、圖文對以及交錯圖文序列，最終訓出了 70 億（7B）和 340 億（34B）兩個引數版本。

不偏科的 34B，還能圖文混排輸出

以往的多模態模型常常有個副作用：視覺能力上去了，純文本能力就大幅縮水。但從 Meta 公佈的測試結果來看，Chameleon 並沒有出現明顯的偏科。

在純文本的常識推理和閱讀理解測試中，Chameleon 的表現基本追平了 Mixtral 8x7B 和 Gemini-Pro。而在視覺問答（VQA）和影像描述基準上，34B 版本的表現超過了 Flamingo、IDEFICS 和 Llava-1.5，並且用的引數量和提示詞樣本都更少。

更有意思的是圖文混合生成能力。當提示詞要求一段文字配一張圖交替輸出時，人類評測員對 Chameleon 生成的混合文件給出了更高的偏好。它不僅能看懂圖文混排，還能順暢地寫出圖文混排。

為什麼重要

我們認為，Chameleon 最關鍵的價值在於證明了原生多模態不是巨頭的專利黑盒，端到端架構完全能夠在工程上走通。過去幾個月 OpenAI 和 Google 頻頻展示多模態大招，但對具體架構和訓練細節幾乎閉口不提，Meta 這一篇技術預覽等於把原生融合的底層設計圖直接擺上了檯面。

對開發者和創作者來說，真正的圖文任意交錯生成是很多應用的剛需。比如做圖文並茂的教材、圖表交錯的技術文件，或者根據上下文自動配圖的排版工具，現有的拼裝模型很難保證圖文之間的嚴密因果關係，而端到端模型才有希望把這種體驗做自然。不過 Meta 目前還沒開放權重下載，現在還無法直接部署測試。

從技術路線來看，Meta 這一步走得相當堅決，但也伴隨著巨大的工程風險。早期融合模型的訓練穩定性極難控制，500 萬小時 A100 的試錯成本也普通團隊難以承受的。但看起來，如果 Meta 後續像對待 Llama 一樣把 Chameleon 開源，它極有可能迅速成為閉源多模態生態最強勁的替代底座。