바이두, 책 한 권 통째로 읽는 'Unlimited OCR 2' 오픈소스 공개

바이두가 오픈소스로 공개한 'Unlimited OCR 2'는 초장문 문서를 한 번에 처리하도록 설계된 3B 크기의 문서 파싱 모델이다. 수백에서 수천 쪽에 달하는 스캔 도서를 페이지별로 일일이 쪼개지 않고도, 단 한 번의 요청으로 구조화된 디지털 텍스트로 변환해 준다.

무엇을 할 수 있나

기존 OCR 도구의 대다수는 문서를 한 장씩 따로 인식한다. 이 때문에 표가 다음 장으로 넘어가면 잘려 나가거나, 단락이 중간에 끊겨 문맥을 잃어버리는 일이 잦았다.

Unlimited OCR 2는 여러 페이지를 함께 입력받아 문맥을 통째로 이해한다. 제목, 본문 단락, 표, 수식, 이미지를 스스로 구분하고 각 요소의 좌표(바운딩 박스)와 계층 구조까지 정리해 출력한다.

특히 페이지 경계에서 끊긴 내용을 자연스럽게 이어붙인다. 여러 장에 걸친 대형 표는 하나로 병합해 내보내고, 페이지 번호에 잘린 문장도 누락이나 중복 없이 원본 순서대로 복원한다.

실제 테스트에서는 3600쪽이 넘는 《해리 포터》 시리즈 전 7권을 한 번에 처리하는 데 성공했다. 다중 페이지 벤치마크인 MPDocBench(84.6점)와 백 쪽 단위 평가인 MarathonDocBench(77.1점)에서 Qwen 3.8-Max, Gemini-3.8-Flash, GLM-5.3-Flash, DeepSeek-4.1-Flash 등을 앞섰다.

동작 방식과 하드웨어 요구 사양

모델 크기는 3B 파라미터로 파일 용량이 약 6.9GB에 불과해 일반 소비자용 GPU에서도 충분히 구동할 수 있다.

컨텍스트 창 크기만 무작정 키우는 대신, SR-SWA 어텐션 기법과 무한 디코딩(Unlimited-Horizon Decoding) 메커니즘을 적용해 연산량과 메모리 관리를 최적화했다.

덕분에 문서가 수천 쪽으로 늘어나도 토큰당 지연 시간과 VRAM 점유율이 일정하게 유지되며, 페이지가 쌓일수록 느려지다 메모리가 터지는 현상을 막아준다.

프로젝트 페이지에 다운로드와 실행 방법이 공개되어 있으며, Transformers 및 SGLang 프레임워크를 통한 배포를 지원한다.

왜 중요한가

두꺼운 법률 서류, 투자설명서, 고서적 스캔본을 사내 RAG나 검색 시스템에 넣어야 하는 개발자라면 당장 검토해 볼 만하다. 문서를 페이지별로 자르고 인식한 뒤 복잡한 규칙으로 다시 이어붙이던 골치 아픈 파이프라인을 단일 호출로 끝낼 수 있다.

아키텍처만 잘 다듬는다면 거대 범용 모델을 쓰지 않고도 3B 크기의 경량 모델로 특정 작업에서 더 높은 효율을 낼 수 있음을 보여준다. 다만 화질이 심하게 떨어지는 스캔본이나 변칙적인 레이아웃에서도 페이지 병합이 오작동 없이 유지되는지는 실제 현업 데이터로 추가 검증이 필요하다.