Landing AI 重新整理 DocVQA 記錄：靠解耦解析與問答拿下 99.16% 準確率

如果你做過文件解析或者基於合同、發票做問答，大機率吃過大視覺模型的苦：每問一個新問題，就得把整張高畫質大圖重新喂進多模態大模型跑一遍，不僅慢，賬單還蹭蹭往上漲。

現在有人換了個思路，順便把行業紀錄給破了。Landing AI 在文件理解基準 DocVQA 上拿下了 99.16% 的準確率，不僅刷掉了此前 Qwen2-VL 保持的 97.25% 紀錄，還壓過了人類評測通常表現的 96% 到 98%。

一次解析，無限次問答

傳統 DocVQA 的打法很死板：不管使用者問什麼，模型都得把原圖和文本一起吞進去。這種做法在打比賽時還好，一旦落到企業生產環境，成本高得讓人難以接受。

Landing AI 的核心改動，說白了就是把「看文件」和「答問題」這兩件事徹底拆開，做成了一套「一次解析、無限查詢」的流程。

第一步只負責看圖。他們用自研的 DPT-2（Document Pre-trained Transformer 2）模型，一次性把掃描件吃透，吐出結構化的資料。這裡面不僅有 Markdown 文本和 JSON 資料，還標註了每一個元素的精確位置、版面佈局以及置信度。

第二步純靠文字。後續不管問文件什麼問題，都不再調視覺模型，而是把前面解析好的結構化資料直接塞給大語言模型。實驗裡他們用的是 Claude Sonnet 4.5 搭配混合提示策略。

這樣的好處顯而易見：大圖只用算一次，後面問十個問題、一百個問題，跑的都是便宜得多的純文本推理。而且因為帶了座標框，每個答案都能精準指回原文件的具體位置，便於人工核對。

45 個錯誤的透明賬本

這次測試用的是 DocVQA 驗證集的 1286 張真實掃描件，來自 UCSF 行業文件庫，涉及事實提取、表格理解和空間推理等各種複雜場景，採用嚴格的大小寫不敏感精確匹配指標。

整個提升過程很清晰：如果只靠純 Markdown 文本，準確率是 95.36%；一旦加入包含視覺座標的 JSON 結構與引導提示，準確率直接衝到了 99.16%。

更實在的是他們對失敗案例的坦白。整套評測裡一共只出現了 45 個真實錯誤，團隊直接拉出了清單：解析錯誤（如 OCR 識別混淆或印章文字遮擋）佔了 13 例，大模型自己推理失誤佔了 18 例，還有 9 例是超出了核心解析範圍的空間方位問題，另外有 18 例屬於原資料集自身的標註爭議。

他們還在 GitHub 上把預解析資料、評估指令碼、提示詞模板以及包含 63 個成功案例和 45 個錯誤案例的視覺化畫廊全部開源，誰都可以拉下來一鍵復現。

為什麼重要

我們認為，Landing AI 這次最值得誇讚的不是 99.16% 這個數字本身，而是他們證明了「端到端多模態大模型並不是文件處理的唯一解」。

在很多人的既定印象裡，端到端是 AI 發展的終極方向，把圖直接交給超大模型好像最優雅。但在實際業務中，優雅往往敗給現實：高昂的 GPU 視訊記憶體佔用、居高不下的 API 賬單，以及答案「查無憑據」的幻覺風險，都是橫在落地面前的牆。

把解析層和問答層解耦，看起來像是在走「工程化妥協」的老路，但配合現在的先進 LLM，卻打出了極高的價效比。對於需要處理海量財報、合同審查和醫療票據的團隊來說，這套方案意味著文件可以提前離線轉成結構化資產，後續不管是做 RAG 檢索、合規審計還是多輪問答，呼叫成本都會暴跌。

當然，這種架構也有天然短板。一旦前端解析模型漏掉了微小線索或者誤判了複雜空間排版，後端的純文本大模型就只能「巧婦難為無米之炊」，錯誤會直接傳導下去。但就目前的落地方案來看，這種既能大幅省錢、又能精確定位的打法，大機率會逼著行業重新審視文件處理的技術選型。