딥시크, 문서 토큰 대폭 줄인 고효율 OCR 시스템 오픈소스로 공개

딥시크 OCR은 대형 언어 모델이 문서 데이터를 훨씬 효율적으로 다룰 수 있도록 돕는 오픈소스 문서 인식 및 압축 시스템이다. 텍스트 문서를 이미지 형태로 압축 처리해 원본 정보의 97%를 보존하면서도 토큰 소모량을 최대 10분의 1 수준으로 줄여 준다. 덕분에 언어 모델이 긴 문서를 읽을 때 메모리 한계에 부딪히는 문제를 크게 덜어 준다.

현재 코드와 모델 가중치가 모두 공개되어 있어 누구나 내려받아 사용할 수 있다.

무엇을 할 수 있나

이 시스템은 약 100개 언어로 작성된 문서를 처리할 수 있다. 일반 텍스트뿐만 아니라 도표, 화학식, 기하학 도형을 인식하며 원본 문서의 서식 구조도 그대로 유지한다.

심층 분석 모드를 사용하면 재무 차트 같은 복잡한 이미지를 분석해 정형화된 마크다운 표와 그래프 데이터로 자동 변환해 준다.

문서 종류에 따라 소모되는 시각 토큰 수도 효율적으로 조절된다. 단순한 프레젠테이션 슬라이드는 페이지당 64개 토큰만 사용하며, 일반 서적과 보고서는 약 100개 토큰으로 처리된다.

지면이 복잡하고 글자가 빽빽한 신문 같은 문서는 건담 모드(Gundam mode)로 전환되어 최대 800개의 토큰을 쓴다. 기존 OCR 시스템들이 같은 작업에 수천 개의 토큰을 소모하던 것과 대조적이다.

OmniDocBench 벤치마크 테스트에서 딥시크 OCR은 100개 토큰만으로 256개 토큰을 쓴 GOT-OCR 2.0보다 높은 성능을 냈다. 800개 미만의 토큰으로도 페이지당 6000개 이상의 토큰이 필요한 MinerU 2.0을 앞섰다.

어떤 구조로 동작하나

모델 규모는 실용적일 만큼 작다. 이미지 처리를 맡는 3억 8000만 매개변수의 DeepEncoder와, 활성 매개변수가 5억 7000만 개에 불과한 Deepseek3B-MoE 기반 텍스트 생성기로 이뤄져 있다.

핵심 기술은 DeepEncoder의 연결 방식에 있다. 메타의 이미지 분할 모델인 SAM(8000만 매개변수)과 오픈AI의 CLIP(3억 매개변수)을 결합하고, 그 사이에 16배 압축기를 배치했다.

1024x1024 픽셀 이미지는 처음에 4096개 토큰으로 시작하지만, SAM을 거쳐 압축기가 이를 단 256개로 줄인 뒤에야 연산량이 많은 CLIP 모델로 넘긴다. 연산 병목을 초기 단계에서 차단한 셈이다.

학습에는 영어와 중국어 2500만 페이지를 포함한 100여 개 언어의 PDF 문서 3000만 페이지, 합성 도표 1000만 개, 화학식 500만 개, 기하학 도형 100만 개가 사용됐다.

처리 속도와 하드웨어 요구사항

실제 작업 환경에서 단일 Nvidia A100 GPU 1장으로 하루에 20만 페이지 이상의 문서를 처리할 수 있다.

A100 8장을 장착한 서버 20대 규모로 클러스터를 구성하면 하루 처리량이 3300만 페이지에 달한다. 파운데이션 모델을 사전 학습하기 위해 대규모 텍스트 코퍼스를 정제해야 하는 팀에 매우 적합하다.

왜 중요한가

RAG 파이프라인이나 대규모 사내 문서 분석 시스템을 만드는 개발자라면 지금 즉시 도입을 검토해 볼 만하다. 긴 문서를 처리할 때 발생하는 토큰 비용과 컨텍스트 창 낭비를 획기적으로 줄여 주기 때문이다.

기존 오픈소스 진영이 무거운 비전 언어 모델을 그대로 동원해 정확도를 맞추려 했다면, 딥시크는 SAM과 CLIP 사이에 압축기를 끼워 넣는 영리한 파이프라인으로 경량 모델도 거대 모델을 이길 수 있음을 보여 줬다.