Hugging Face 釋出 Idefics2：8B 視覺大模型開源，OCR 與圖文推理大漲

Idefics2 是 Hugging Face 推出的 8B 開源多模態大模型，能接收任意圖文交錯的輸入並輸出文本。你可以拿它做影像問答、描述視覺內容、根據多張圖片編故事、從文件表格中提取資訊，或者處理簡單的算術推理。

相比前代 80B 的 Idefics1，這次的新模型體積縮小了整整十倍，效能卻全面反超，甚至能叫板體積大得多的 34B 級別模型。

它能做什麼

Idefics2 最直觀的長處在於看文件和認字。官方在訓練中注入了大量文件和 OCR 資料，讓它在圖表閱讀、文字轉錄和文件問答上的表現拉開同類輕量模型一大截。

在 DocVQA 文件測試中，它拿到了最高 74.0 的分數。而在偏重數學與視覺推理的 MathVista 基準上，Idefics2 跑出了 51.6 分，不僅壓過了 34B 的 LLaVa-NeXT 和 30B 的 MM1-Chat，甚至咬住了部分百億引數以上的閉源大模型。

在生成速度和效率上它也很省資源。不開啟子圖切分時，每張影像只佔用 64 個 token；即使開啟切分，單圖也只要 320 個 token，遠低於動輒佔用數千 token 的方案。

它是怎麼做到的

Idefics2 的底座由兩個完全開源的模型拼成：語言部分採用 Mistral-7B-v0.1，視覺部分使用 Google 的 siglip-so400m-patch14-384。

在架構上，開發團隊徹底放棄了 Idefics1 複雜的門控交叉注意力機制，換成了一套更輕巧的流程。影像進入視覺編碼器後，通過可學習的 Perceiver 池化和 MLP 模態投影，直接把視覺特徵拼接到文本序列中。

輸入影像的處理也更講究。它借鑑了 NaViT 的策略，允許保留圖片原始的解析度和寬高比，最大支援到 980x980，不再強行把圖片壓成正方形。遇到超大解析度影像時，還能像 SPHINX 那樣自動切成 4 張子圖分別處理。

除了模型本身，Hugging Face 還開源了他們訓練用的指令微調資料集 The Cauldron。這是一個由 50 個多輪對話多模態資料集彙編而成的工具包，同樣向社群完全公開。

怎麼跑起來

Idefics2 完全遵循 Apache 2.0 協議開源，從模型權重、程式碼到訓練資料集都能直接商用。

它從第一天起就整合進了最新的 Transformers 庫。你只需要用 AutoProcessor 和 AutoModelForVision2Seq，幾行 Python 程式碼就能在本地 GPU 上完成單圖或多圖的圖文對話。

如果你需要適配自己的業務場景，官方還在 Hugging Face Hub 上配套放出了微調 Colab 筆記本，方便開發者用自己的資料做二次微調。

為什麼重要

對開發者和中小團隊來說，8B 是一個極具吸引力的甜點位。它意味著你不需要多卡叢集，一張消費級顯示卡就能把完整的多模態能力跑起來，而且在 OCR 和圖表理解上幾乎不需要妥協。

更難得的是 Hugging Face 延續了徹底開放的態度。從權重、底模到微調資料集全部給出 Apache 2.0 協議，這給那些想要自建文件解析流水線或端側視覺代理的團隊，提供了一個乾淨且強大的基座。