百度が「Unlimited OCR」発表：長文でも速度低下なし、40ページを一括解析

Vision-Languageモデルで長文PDFを処理しようとすると、出力テキストが伸びるにつれてメモリが膨らみ、処理速度が急激に落ちていくのが長年の悩みでした。

百度が公開した「Unlimited OCR」は、このボトルネックに真っ向から挑むドキュメント解析モデルです。3BのMoE構成ですが、実アクティブパラメータはわずか5億に抑えられており、ローカル環境でも手軽に動かせます。

人間の筆写を模したキャッシュ管理

本モデルはDeepSeek-OCRをベースに微調整されたもので、中核技術は「R-SWA」と呼ばれるアテンション機構です。

従来のLLMデコーダは生成テキストが増えるほどKVキャッシュが肥大化します。Unlimited OCRは、画像全体の視覚トークンは常にすべて見渡しつつ、生成済みテキストについては直近128トークンだけを保持する仕組みを採用しました。

テキストのKVキャッシュを固定容量キューにしたことで、出力が1万トークンでも10万トークンでも計算コストとメモリ消費は一定のまま。6,000トークン出力時にはDeepSeek-OCRと比べて約35%の高速化を達成しています。1024×1024の画像を1ページあたり256トークンに圧縮し、32Kコンテキストで40ページ以上を一括かつ等速で解析可能です。

なぜ重要か

社内ナレッジベースやRAGの構築において、数十ページに及ぶ報告書や論文のテキスト化は最も負荷の高い工程でした。本モデルは表や数式を含めたMarkdownやJSONをそのまま出力でき、手元で安価に長文解析を回したい開発者にとって実用的な選択肢になります。

出力側の文脈を割り切って絞り、入力側のコンテキストを完全に保つというアプローチは、音声認識（ASR）や機械翻訳の長文処理にも波及しそうです。