百度推出 Unlimited OCR：固定 KV Cache，长文档解析匀速吃下 40 页

用大模型做长文档 OCR 时，最让人头疼的就是越往后越慢，显存还一路狂飙。

百度最近给出了一个解决思路，推出端到端文档解析模型 Unlimited OCR。它总参数 3B，采用 MoE 架构，实际激活参数只有 5 亿，普通设备就能本地部署。

像抄书一样固定记忆

这个模型基于 DeepSeek-OCR 微调，核心在于引入了叫 R-SWA 的机制。

传统大模型在输出文本时，KV cache 随着字数增多不断膨胀，算到后面自然奇慢无比。Unlimited OCR 换了个思路：它模拟人类抄书，眼睛始终盯着整张图，但脑子里只记住刚刚写下的最后 128 个 token。

通过把文本的 KV cache 做成固定容量队列，单个 token 的注意力开销不再随着长度增加。输出 6000 token 时，它比 DeepSeek-OCR 快了约 35%。不管最终输出 1 万还是 10 万 token，显存和算力开销都完全固定。

在实际处理上，它把每页 1024×1024 图像压缩成 256 个 token，借助 32K 上下文，单次前向就能匀速解析 40 页以上的文档，还能直接输出排好序的 Markdown 或 JSON，搞定表格和数学公式。

为什么重要

我们认为，这个改动切中了知识库处理中最磨人的工程痛点。

很多团队搭 RAG 最怕解析几十页的财报和论文，要么拆页解析丢失上下文，要么整篇喂进去拖垮显卡。Unlimited OCR 只要 5 亿激活参数，把单机本地跑长文档清洗的成本打得极低。

更聪明的是这种架构思路。长序列生成不一定非要全量回看，把已生成文本的注意力窗口砍到极小、同时保全源端视觉信息，这种权衡同样适合 ASR 和机器翻译。