跳到正文
IFAI

开源项目

百度开源多模态模型 ERNIE-Thinking:总参 28B 仅激活 3B,支持图像动态缩放

首次发布 传播指数 35

周一,百度开源多模态模型 ERNIE-4.5-VL-28B-A3B-Thinking,采用 Apache 2.0 协议。该模型总参数 28B 但运行时仅激活 3B,支持动态缩放图像来捕捉细节,百度宣称其在图表和文档理解等多项基准上超过了 Gemini 2.5 Pro 与 GPT-5-High。

百度开源多模态模型 ERNIE-Thinking:总参 28B 仅激活 3B,支持图像动态缩放
图:venturebeat.com

ERNIE-4.5-VL-28B-A3B-Thinking 是百度开源的多模态推理模型。它能帮你分析复杂图表、处理长文档、看图解 STEM 题目,甚至在工业场景下精确定位图像里的物体。

这个模型最特别的地方,是它不仅能读图,还支持像人类一样动态缩放图像来排查细节。

它能做什么

传统视觉语言模型处理图片时大多采用固定分辨率,遇到细节密集的工程图纸往往看不清。

ERNIE-Thinking 引入了名为「Thinking with Images」的机制,能够自由放大缩小图像局部,专门捕捉图表角落的微小数值或制造瑕疵。

配合外接工具时,模型还能调用图像搜索来补足生僻的视觉长尾知识。

此外,它支持工业级的视觉定位(visual grounding),能识别并锁定画面中特定物件的坐标,适用于仓储自动化和机器人视觉识别。

在视频理解上,它具备时间序列感知与事件定位能力,可以准确找出视频不同时间段里的内容变化。

28B 参数只激活 3B

虽然总参数量达到了 28B,但它采用了一套精细的路由架构,实际运行时只激活其中的 3B 参数。

这种设计让它在保留大模型推理深度的同时,把算力消耗和显存占用压到了很低的水平。

百度在文档中透露,模型经历了一段包含海量图文推理数据的中期训练,并结合了大规模强化学习。

官方公布的测试成绩显示,它在多项文档与图表理解基准上超过了 Google 的 Gemini 2.5 Pro 和 OpenAI 的 GPT-5-High。不过需要说明的是,这些测试目前主要来自官方文档,社区的独立第三方评测还在进行中。

开源程度与怎么试用

模型已经托管在 Hugging Face,开源协议采用了完全宽松的 Apache 2.0。

这意味着个人开发者和企业都可以免费下载模型权重,并且没有商用限制。对于需要将视觉模型集成到内部系统或本地部署的团队来说,门槛非常低。

因为运行时仅激活 3B 参数,部署所需的显存压力比同水平的稠密大模型小得多,适合中小型服务器甚至高配工作站搭建私有化服务。

为什么重要

如果你的业务涉及大量 PDF 票据解析、工业质检或者学术图表提取,这款模型非常值得拉下来测一测。

它的聪明之处在于把动态缩放和稀疏激活结合了起来:既解决了高分辨率图像看不清细节的老毛病,又没有让显存开销失控。

同类开源视觉模型在商用许可上往往有各种限制,而 Apache 2.0 加上 3B 的激活成本,让它在企业端落地时极具性价比。不过百度宣称超越 Gemini 和 GPT-5 的结论,建议大家等社区跑出中立测试集之后再做最终判断。

来源 (1)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com

每日 AI 内容精选