Hugging Face 发布 Idefics2：8B 视觉大模型开源，OCR 与图文推理大涨

Idefics2 是 Hugging Face 推出的 8B 开源多模态大模型，能接收任意图文交错的输入并输出文本。你可以拿它做图像问答、描述视觉内容、根据多张图片编故事、从文档表格中提取信息，或者处理简单的算术推理。

相比前代 80B 的 Idefics1，这次的新模型体积缩小了整整十倍，性能却全面反超，甚至能叫板体积大得多的 34B 级别模型。

它能做什么

Idefics2 最直观的长处在于看文档和认字。官方在训练中注入了大量文档和 OCR 数据，让它在图表阅读、文字转录和文档问答上的表现拉开同类轻量模型一大截。

在 DocVQA 文档测试中，它拿到了最高 74.0 的分数。而在偏重数学与视觉推理的 MathVista 基准上，Idefics2 跑出了 51.6 分，不仅压过了 34B 的 LLaVa-NeXT 和 30B 的 MM1-Chat，甚至咬住了部分百亿参数以上的闭源大模型。

在生成速度和效率上它也很省资源。不开启子图切分时，每张图像只占用 64 个 token；即使开启切分，单图也只要 320 个 token，远低于动辄占用数千 token 的方案。

它是怎么做到的

Idefics2 的底座由两个完全开源的模型拼成：语言部分采用 Mistral-7B-v0.1，视觉部分使用 Google 的 siglip-so400m-patch14-384。

在架构上，开发团队彻底放弃了 Idefics1 复杂的门控交叉注意力机制，换成了一套更轻巧的流程。图像进入视觉编码器后，通过可学习的 Perceiver 池化和 MLP 模态投影，直接把视觉特征拼接到文本序列中。

输入图像的处理也更讲究。它借鉴了 NaViT 的策略，允许保留图片原始的分辨率和宽高比，最大支持到 980x980，不再强行把图片压成正方形。遇到超大分辨率图像时，还能像 SPHINX 那样自动切成 4 张子图分别处理。

除了模型本身，Hugging Face 还开源了他们训练用的指令微调数据集 The Cauldron。这是一个由 50 个多轮对话多模态数据集汇编而成的工具包，同样向社区完全公开。

怎么跑起来

Idefics2 完全遵循 Apache 2.0 协议开源，从模型权重、代码到训练数据集都能直接商用。

它从第一天起就整合进了最新的 Transformers 库。你只需要用 AutoProcessor 和 AutoModelForVision2Seq，几行 Python 代码就能在本地 GPU 上完成单图或多图的图文对话。

如果你需要适配自己的业务场景，官方还在 Hugging Face Hub 上配套放出了微调 Colab 笔记本，方便开发者用自己的数据做二次微调。

为什么重要

对开发者和中小团队来说，8B 是一个极具吸引力的甜点位。它意味着你不需要多卡集群，一张消费级显卡就能把完整的多模态能力跑起来，而且在 OCR 和图表理解上几乎不需要妥协。

更难得的是 Hugging Face 延续了彻底开放的态度。从权重、底模到微调数据集全部给出 Apache 2.0 协议，这给那些想要自建文档解析流水线或端侧视觉代理的团队，提供了一个干净且强大的基座。