바이두 'Unlimited OCR' 공개: 속도 저하 없이 긴 문서 40쪽 한 번에 분석

대형 언어 모델로 긴 PDF 문서를 파싱할 때 가장 골치 아픈 문제는, 텍스트 생성이 길어질수록 메모리가 급증하고 속도가 급격히 떨어진다는 점입니다.

바이두가 이를 해결하기 위해 엔드투엔드 문서 파싱 모델 'Unlimited OCR'을 선보였습니다. 전체 3B MoE 구조지만 활성화 파라미터는 5억 개에 불과해 일반 로컬 환경에서도 가볍게 구동할 수 있습니다.

필기하듯 고정된 메모리 큐

DeepSeek-OCR을 기반으로 미세조정한 이 모델의 핵심은 'R-SWA' 메커니즘입니다.

일반적인 디코더는 출력 토큰이 쌓일수록 KV 캐시가 팽창해 계산 부하가 커집니다. 반면 Unlimited OCR은 사람이 책을 베껴 쓰는 작업 기억을 모방했습니다. 원본 문서 이미지는 항상 전체를 보되, 이미 작성한 텍스트는 직전 128개 토큰만 기억하는 방식입니다.

텍스트 KV 캐시를 고정 용량 큐로 묶어둔 덕분에, 1만 토큰을 출력하든 10만 토큰을 출력하든 메모리와 계산 비용이 일정하게 유지됩니다. 6,000 토큰 출력 시 DeepSeek-OCR 대비 약 35% 빠르며, 32K 컨텍스트 안에서 40쪽 이상의 문서를 속도 저하 없이 한 번에 파싱합니다.

왜 중요한가

RAG나 사내 지식 베이스를 구축할 때 수십 쪽짜리 보고서와 논문 전처리는 늘 병목이었습니다. 5억 활성화 파라미터로 표나 수식이 포함된 마크다운을 균일한 속도로 뽑아낼 수 있다는 점은 현업 엔지니어에게 매우 매력적입니다.

더불어 생성 텍스트의 어텐션 창을 극도로 제한하고 원본 입력 정보만 온전히 보존하는 이 설계는 장문 음성인식(ASR)이나 번역 파이프라인에도 유용한 돌파구가 될 것으로 보입니다.