Meta 推出 CM3leon：兼顧文生圖與圖生文，訓練算力省 5 倍

以前大家做多模態，習慣各走各的路：看圖說話用一套大語言模型，文生圖又換成擴散模型。如果想按一句話修圖，還得專門掛一個專有小模型。這種拼裝車開起來不僅費勁，而且訓練成本高得嚇人。

Meta 公佈的 CM3leon 打算把這堵牆拆掉。這個模型名字唸作變色龍，用的是自迴歸 Transformer 架構，但它能靠同一個模型把文生圖和圖生文兩件事全包了。

拿訓大模型的方法去畫圖

CM3leon 最有意思的地方在於訓練配方。Meta 沒有用常見的擴散架構，而是直接把純文本語言模型的那套玩法搬了過來。

他們先用大規模檢索增強做預訓練，接著再做大規模的多工監督微調。整個流程說白了，就是把影像當成一種特殊的文本 token，塞進同一個自迴歸系統裡一起算。

效果非常直接。在零樣本 MS-COCO 影像生成基準測試中，CM3leon 跑出了 4.88 的 FID 分數。這個成績不僅拿下了當時的新紀錄，還擊敗了 Google 之前的自迴歸模型 Parti。

更划算的是算力賬本。Meta 表示，訓練 CM3leon 所消耗的算力，比以往基於 Transformer 的文生圖方法足足少了五倍。即便文本預訓練資料只有區區 30 億 token，它的零樣本泛化能力依然能叫板那些用海量資料喂出來的更大模型。

一個模型包攬畫圖、識圖和修圖

過去很多影像生成模型最怕複雜的組合指令，比如把幾樣風馬牛不相及的東西拼在一起，或者畫區域性細節就崩掉全域性結構。

Meta 在演示中展示了一批高難度指令，比如戴著草帽和霓虹墨鏡在撒哈拉沙漠裡的小仙人掌，以及寫著 1991 字樣的奇幻風停牌，CM3leon 都能把文字約束和細節同時畫準。

而且因為同一個模型同時懂圖又懂文，它不僅能根據圖片回答問題、輸出長文本描述，還能直接做指令修圖。比如給它一張圖並附帶一句把天空改成亮藍色，它就能直接改。

以往這類操作往往需要 InstructPix2Pix 這類專門微調的小模型，而 CM3leon 不需要換零件，一個大一統架構全接了下來。

為什麼重要

我們認為，CM3leon 最大的價值在於證明了自迴歸架構在影像生成上的潛力，沒有被擴散模型徹底鎖死。

在很多人的既定印象裡，生成逼真影像必須靠擴散模型，Transformer 跑影像太重太燒錢。Meta 這次用五分之一的算力代價和 4.88 的 FID 證明，只要檢索增強和多工微調的配方給對，自迴歸架構完全可以在同一套網路裡兼顧理解與生成。

對開發者和產品團隊來說，單模型雙向全能意味著系統複雜度大幅下降。未來不需要在後端維護多模態理解和影像生成兩套完全不同的模型流水線，無論是視覺問答還是精細修圖，一個介面就能流式搞定。

不過，它的隱患在於落地成本與推理延遲。儘管訓練算力省了五倍，自迴歸按 token 逐個生成影像的推理速度，在實際工程裡往往比擴散模型更難做低延遲最佳化。Meta 這套成果更偏向技術路線的驗證，普通創作者想在日常工作流裡用上它，還得看後續開源或工程落地的進展。