Landing AI, DocVQA 99.16% 정확도로 문서 이해 신기록 달성

스캔된 계약서나 영수증을 바탕으로 질의응답 시스템을 구축해 본 사람이라면 대규모 비전 모델의 비용 문제로 골머리를 앓아보았을 것입니다. 질문 하나를 던질 때마다 고해상도 이미지 전체를 모델에 다시 집어넣어야 하니 속도도 느리고 API 비용도 기하급수적으로 불어납니다.

Landing AI는 이 문제를 다른 방식으로 풀어내며 새로운 기록을 세웠습니다. 문서 이해 벤치마크인 DocVQA에서 99.16%의 정확도를 기록하며 기존 1위였던 Qwen2-VL의 97.25%를 넘어섰고, 96%에서 98% 수준으로 평가받는 인간 기준까지 앞질렀습니다.

한 번 파싱하고, 무제한으로 묻는다

기존 DocVQA 방식은 경직되어 있었습니다. 질문이 들어올 때마다 모델이 문서 이미지와 질문 텍스트를 한꺼번에 처리해야 했습니다. 연구용 벤치마크에서는 통할지 몰라도, 실제 엔터프라이즈 환경에서는 감당하기 힘든 연산 비용이 발생합니다.

Landing AI가 내놓은 핵심은 문서의 시각적 파싱과 질문 답변 과정을 완벽히 분리한 구조입니다.

먼저 자체 개발한 DPT-2(Document Pre-trained Transformer 2) 모델을 통해 스캔 문서를 단 한 번만 구조화된 데이터로 변환합니다. 여기에는 마크다운 텍스트와 JSON 데이터뿐 아니라 각 요소의 위치 좌표와 레이아웃, 신뢰도 점수가 함께 담깁니다.

그다음 질문 답변은 순수 텍스트 영역으로 넘깁니다. 시각 모델을 다시 호출하지 않고, 앞서 파싱해 둔 구조화 데이터를 Claude Sonnet 4.5에 전달해 하이브리드 프롬프트 방식으로 답변을 도출합니다.

이렇게 하면 무거운 이미지는 처음에 딱 한 번만 계산하면 됩니다. 질문을 수십 번 던져도 상대적으로 저렴한 순수 텍스트 추론만 실행됩니다. 또한 모든 데이터에 좌표가 매핑되어 있어 답변의 근거를 원본 문서에서 즉시 확인할 수 있습니다.

45개 실패 사례까지 투명하게 공개

이번 평가는 UCSF 산업 문서 보관소에서 추출한 DocVQA 검증 세트 1286장을 대상으로 진행되었습니다. 단순 사실 확인부터 복잡한 표 이해, 공간 추론까지 다양한 문제를 엄격한 대소문자 미구분 완전 일치 기준으로 측정했습니다.

최적화 과정도 구체적입니다. 순수 마크다운만 사용했을 때는 95.36%였으나, 시각 좌표가 담긴 JSON과 프롬프트 가이드를 결합하자 정확도가 99.16%까지 뛰었습니다.

실패 원인에 대한 투명성도 돋보입니다. 전체 평가 중 실제 오답은 45건에 불과했습니다. OCR 혼선이나 가림 현상으로 인한 파싱 오류가 13건, LLM의 추론 실수가 18건, 파싱 범위를 벗어난 공간 질문이 9건이었습니다. 데이터셋 자체의 라벨 표기 논란이 있는 18건은 평가에서 제외되었습니다.

Landing AI는 깃허브를 통해 사전 파싱 데이터와 프롬프트 템플릿, 평가 스크립트, 성공 63건과 실패 45건을 확인할 수 있는 인터랙티브 갤러리를 모두 공개해 누구나 재현할 수 있게 했습니다.

왜 중요한가

우리는 Landing AI의 이번 성과가 99.16%라는 점수 자체보다, 거대한 단일 멀티모달 모델이 문서 처리의 유일한 정답이 아니라는 점을 증명했다는 데 더 큰 의미가 있다고 봅니다.

최근 업계에서는 픽셀을 거대 모델에 통째로 밀어 넣는 엔드투엔드 방식이 대세로 여겨져 왔습니다. 하지만 실무 현장에서는 과도한 GPU 메모리 점유율과 눈덩이처럼 불어나는 API 비용, 그리고 출처 확인이 어려운 환각 문제가 큰 장애물이었습니다.

파싱과 추론을 분리하는 구조는 전통적인 엔지니어링 타협처럼 보일 수 있지만, 최신 LLM과 결합했을 때 압도적인 비용 효율을 냅니다. 계약서나 영수증을 대량으로 다루는 기업 입장에서는 문서를 미리 정형화된 자산으로 변환해 두기만 하면, 이후 RAG 검색이나 감사 업무에 들어가는 비용을 획기적으로 낮출 수 있습니다.

물론 앞단의 파싱 모델이 특정 정보를 빠뜨리거나 레이아웃을 오판하면 뒷단의 LLM이 이를 복구하기 어렵다는 한계는 남습니다. 그럼에도 운영 비용을 대폭 줄이면서 출처 추적까지 가능하게 만든 이번 접근법은 실무 문서 AI 아키텍처 설계에 강한 영향을 줄 것으로 보입니다.