Landing AI 刷新 DocVQA 记录:靠解耦解析与问答拿下 99.16% 准确率
Landing AI 在 DocVQA 基准上取得 99.16% 准确率,超越 Qwen2-VL 及人类水平。团队将流程解耦,先用自研 DPT-2 把文档转为结构化数据,后续问答全交由 LLM 处理。这种「一次解析、无限查询」的设计大幅拉低了反复跑视觉模型的成本。

如果你做过文档解析或者基于合同、发票做问答,大概率吃过大视觉模型的苦:每问一个新问题,就得把整张高清大图重新喂进多模态大模型跑一遍,不仅慢,账单还蹭蹭往上涨。
现在有人换了个思路,顺便把行业纪录给破了。Landing AI 在文档理解基准 DocVQA 上拿下了 99.16% 的准确率,不仅刷掉了此前 Qwen2-VL 保持的 97.25% 纪录,还压过了人类评测通常表现的 96% 到 98%。
一次解析,无限次问答
传统 DocVQA 的打法很死板:不管用户问什么,模型都得把原图和文本一起吞进去。这种做法在打比赛时还好,一旦落到企业生产环境,成本高得让人难以接受。
Landing AI 的核心改动,说白了就是把「看文档」和「答问题」这两件事彻底拆开,做成了一套「一次解析、无限查询」的流程。
第一步只负责看图。他们用自研的 DPT-2(Document Pre-trained Transformer 2)模型,一次性把扫描件吃透,吐出结构化的数据。这里面不仅有 Markdown 文本和 JSON 数据,还标注了每一个元素的精确位置、版面布局以及置信度。
第二步纯靠文字。后续不管问文档什么问题,都不再调视觉模型,而是把前面解析好的结构化数据直接塞给大语言模型。实验里他们用的是 Claude Sonnet 4.5 搭配混合提示策略。
这样的好处显而易见:大图只用算一次,后面问十个问题、一百个问题,跑的都是便宜得多的纯文本推理。而且因为带了坐标框,每个答案都能精准指回原文档的具体位置,便于人工核对。
45 个错误的透明账本
这次测试用的是 DocVQA 验证集的 1286 张真实扫描件,来自 UCSF 行业文档库,涉及事实提取、表格理解和空间推理等各种复杂场景,采用严格的大小写不敏感精确匹配指标。
整个提升过程很清晰:如果只靠纯 Markdown 文本,准确率是 95.36%;一旦加入包含视觉坐标的 JSON 结构与引导提示,准确率直接冲到了 99.16%。
更实在的是他们对失败案例的坦白。整套评测里一共只出现了 45 个真实错误,团队直接拉出了清单:解析错误(如 OCR 识别混淆或印章文字遮挡)占了 13 例,大模型自己推理失误占了 18 例,还有 9 例是超出了核心解析范围的空间方位问题,另外有 18 例属于原数据集自身的标注争议。
他们还在 GitHub 上把预解析数据、评估脚本、提示词模板以及包含 63 个成功案例和 45 个错误案例的可视化画廊全部开源,谁都可以拉下来一键复现。
为什么重要
我们认为,Landing AI 这次最值得夸赞的不是 99.16% 这个数字本身,而是他们证明了「端到端多模态大模型并不是文档处理的唯一解」。
在很多人的既定印象里,端到端是 AI 发展的终极方向,把图直接交给超大模型好像最优雅。但在实际业务中,优雅往往败给现实:高昂的 GPU 显存占用、居高不下的 API 账单,以及答案「查无凭据」的幻觉风险,都是横在落地面前的墙。
把解析层和问答层解耦,看起来像是在走「工程化妥协」的老路,但配合现在的先进 LLM,却打出了极高的性价比。对于需要处理海量财报、合同审查和医疗票据的团队来说,这套方案意味着文档可以提前离线转成结构化资产,后续不管是做 RAG 检索、合规审计还是多轮问答,调用成本都会暴跌。
当然,这种架构也有天然短板。一旦前端解析模型漏掉了微小线索或者误判了复杂空间排版,后端的纯文本大模型就只能「巧妇难为无米之炊」,错误会直接传导下去。但就目前的落地方案来看,这种既能大幅省钱、又能精确定位的打法,大概率会逼着行业重新审视文档处理的技术选型。
来源 (2)
- github.com(在新标签页打开)原文github.com
- landing-ai.github.io(在新标签页打开)报道landing-ai.github.io