Landing AIがDocVQAで99.16%を達成：解析と問答の分離で新SOTA

契約書や請求書を扱うAIツールを作ったことがある人なら、マルチモーダルモデルの運用コストに頭を抱えた経験があるはずです。質問が1つ増えるたびに、高解像度のスキャン画像をもう一度モデルに読み込ませる必要があり、処理待ちとAPI利用料が積み重なっていきます。

この課題に対し、Landing AIがアプローチを変えて新記録を打ち立てました。文書理解ベンチマーク「DocVQA」において99.16%の精度を達成し、従来の最高記録だったQwen2-VLの97.25%を塗り替えただけでなく、96%から98%とされる人間の平均基準も上回りました。

一度解析し、何度でも問う

従来のDocVQAベンチマークは、質問が来るたびに画像とプロンプトを同時にモデルへ投入する設計が一般的でした。このやり方は評価スコアを競うにはよくても、大量の社内文書を扱う本番環境ではコストが高すぎてスケールしません。

Landing AIが採ったのは、文書の「読み取り」と「質問への回答」を完全に切り離すアプローチです。

まず自社開発モデル「DPT-2（Document Pre-trained Transformer 2）」を使い、スキャン文書を一度だけ構造化データへ変換します。ここにはMarkdownテキストだけでなく、JSON形式のデータや、各要素の位置を示すバウンディングボックス、レイアウト情報、信頼度スコアが含まれます。

その後の質疑応答は、すべてテキスト処理として行われます。画像モデルは二度と呼び出さず、抽出済みの構造化データをClaude Sonnet 4.5に渡し、ハイブリッドプロンプト戦略で回答を生成させます。

この構成なら、重い画像処理は最初の1回だけで済みます。後から何十回質問しても、発生するのは安価なテキストモデルの推論コストだけです。また、すべての情報に座標データが紐づいているため、回答が元の文書のどこに基づいているかを簡単に追跡・検証できます。

45件の誤答を透明に公開

評価にはUCSFの業界文書アーカイブから選ばれたDocVQA検証用スキャン画像1286枚が使われました。事実抽出から複雑な表組み、空間配置の推論まで幅広いケースが含まれ、厳格な大文字小文字を区別しない完全一致方式で採点されています。

精度の推移も公開されており、単純なMarkdownテキストだけでは95.36%にとどまりましたが、座標付きJSONとプロンプトの工夫を加えることで99.16%まで伸びました。

さらに踏み込んでいるのが失敗原因の分析です。全テストで発生した真の誤答はわずか45件で、文字認識の誤りや印章の重なりによる解析ミスが13件、LLMの推論ミスが18件、解析範囲外の空間的な問いが9件でした。元のデータセットの正解ラベルに疑問がある18件は除外されています。

チームはGitHub上で事前解析データ、プロンプト、評価スクリプト、そして成功63例と失敗45例を並べたインタラクティブな検証ギャラリーをすべて公開し、誰でも再現できるようにしています。

なぜ重要か

私たちは、この成果の価値は「99.16%」という数字以上に、「巨大な端ツー端マルチモーダルモデルだけが正解ではない」と実証した点にあると考えています。

業界ではすべてをひとつの巨大VLMに丸投げする手法が主流になりつつありますが、実務ではメモリ消費量、高額な推論費用、そして根拠が見えないハルシネーションのリスクが常に壁になります。

解析と推論を分離する設計は一見すると古典的なエンジニアリングに見えますが、現代の高性能LLMと組み合わせることで極めて現実的なコストパフォーマンスを発揮します。大量の契約書や請求書、監査ログを抱える企業にとって、一度バッチ処理で構造化しておけば、その後のRAGや検索、コンプライアンス確認にかかる費用を大幅に圧縮できます。

もちろん、前段のモデルが抽出をミスすると後段のLLMが自力で挽回できないという弱点もあります。それでも、運用の安さと根拠の追跡性を両立させながら最高精度を叩き出したこの手法は、企業における文書AIの設計パターンに一石を投じるはずです。