上海 AI Lab 開源 InternLumina-U2：生圖、編輯與全視覺理解全包了

InternLumina-U2 把影像生成、影像編輯和多種模態的視覺理解塞進了一個模型裡。不用在文生圖擴散模型和視覺大語言模型之間來回切換，文本問答、生圖、指令修圖、看影片以及分析 3D 資產，走的全是同一套網路骨架和統一的離散 Token 介面。

上海人工智慧實驗室在 2026 年 10 月把它的模型權重、微調訓練程式碼和推理加速方案全部公開到了 Hugging Face 和 GitHub 上。

它能做什麼

生圖和編輯方面，它能按照文本生成不同風格的作品，包含真實照片和油畫等，在基準測試 GenEval 上拿到了 89 分。更重要的是它對指令的理解很精準，比如要求它「只旋轉圖中的橙色方塊」或者將指定畫面轉為素描風格，它能直接在原圖基礎上進行區域性增刪或形變，而不需要額外的外掛配合。

多模態理解方面，它並不是一個單純畫畫的擴散模型，底子依然是個視覺語言模型。輸入一張複雜的 ER 架構圖或者圖表，它能提取資訊並總結回答，ChartQA 得分為 86.2；給它一張醫學掃描圖，它能指出異常病灶；給它一幅名畫，它能認出作者是誰。

它甚至原生支援動態內容與空間資產。傳入一段 64 幀的影片，它可以從頭到尾進行細緻描述；給它一個 GLB 或 GLTF 格式的 3D 檔案，它會藉助後臺渲染多視角投影並完成空間層面的問答。

怎麼做到的與硬體規格

以往把理解和生成合二為一的模型，要麼因為單個視覺碼本容納的資訊太少導致細節模糊，要麼把理解和生成拆成兩套表徵。InternLumina-U2 採用了一種完全離散的多碼本方案。

它藉助 AToken 視覺分詞器，在每個視覺空間位置使用 8 個互補的離散碼本來記錄紋理、文本和高頻細節。輸入時，這 8 個碼本的嵌入向量被拼接並對映為骨幹網路中的單個 Token；輸出時，骨幹網路先在空間上並行擴散去噪，再由多碼本自迴歸頭逐層預測這 8 個離散編碼。

模型的語言底座是 LLaDA2.0-mini，由自迴歸 MoE 模型改造而來的掩碼擴散語言模型。總引數量為 169 億，但通過稀疏路由，每個 Token 啟用的引數只有約 14 億。全模型共 20 層 Transformer，除第一層為密集前饋網路外，其餘 19 層均為 MoE 層，每層包含 256 個路由專家和 1 個共享專家，每次啟用其中的 8 個。

推理速度上，它帶有一個免訓練的高原取樣加速機制，通過置信度引導和漂移快取重新整理，把影像生成速度加快了 4.45 倍。

想自己跑起來，需要 Python 3.11、PyTorch 2.6 和 CUDA 12.4 環境，同時必須安裝 flash-attn。官方針對 NVIDIA GPU 和華為昇騰 NPU 分別放出了對應的權重分支。需要留意的是，用於視覺編解碼的 AToken 權重來自蘋果的開源專案，因為許可原因未打包在主倉庫中，執行前需要單獨下載放到指定路徑；測試 3D 問答則需要執行自帶指令碼安裝 Blender 4.5。

為什麼重要

把影像生成和圖文理解真正融進一套底座，是很多多模態研究想做但一直做不順的事。過去大多數做法是讓語言模型當指揮官，外面掛一個 SD 或 Flux，模型並沒有真正「看懂」自己畫的東西。

InternLumina-U2 證明了擴散大模型配合多碼本離散表徵完全走得通，而且依靠 MoE 架構把每次計算的啟用引數壓到了 14 億左右，普通開發者也能跑得動。如果你正在做需要同時兼顧識圖與精細修改的視覺 Agent，這個專案非常值得拿來微調和測試；它的部署鏈路相對常規純文本模型複雜一些，尤其是外部分詞器和依賴項較多，但作為軟硬體雙生態落地的全棧開源範本，這套方案給多模態統一架構指了一條很清晰的路徑。