本文へスキップ
IFAI

オープンソース

Baidu、数百ページの文書を一括解析できる「Unlimited OCR 2」をオープンソース公開

公開 拡散指数 48

Baiduは超長文ドキュメント解析モデル「Unlimited OCR 2」をオープンソース公開した。パラメータ数は3B(約6.9GB)で、注意機構の最適化によりページ数が増えてもメモリ消費を安定させ、複数ページにまたがる表や段落も自動で結合抽出できる。一般向けGPUでも本1冊丸ごとの電子化が可能になる。

Baidu、数百ページの文書を一括解析できる「Unlimited OCR 2」をオープンソース公開
画像:hub.baai.ac.cn

Baiduがオープンソース公開した「Unlimited OCR 2」は、超長文ドキュメントを一括処理するために設計された3Bパラメータの文書解析モデルだ。数百ページから数千ページに及ぶスキャン書籍を渡しても、PDFを1ページずつ分割することなく、単一のリクエストで構造化されたテキストへと変換できる。

何ができるのか

従来のOCRシステムの多くは1ページずつ独立して処理するため、ページをまたぐ表が分断されたり、改ページで文章が途切れて文脈が失われたりする問題があった。

Unlimited OCR 2は複数ページを同時に読み込むことで、この課題を解消している。見出し、段落、表、数式、画像などのレイアウト要素を自動認識し、バウンディングボックスや階層構造と共に出力する。

さらに、改ページで途切れた要素を自動で修復する機能も備える。複数ページにまたがる表は1つの表として統合され、ページ番号で中断された段落も意味のつながりを保ったままシームレスに結合される。

実測テストでは、『ハリー・ポッター』全7巻(計3600ページ以上)を一括で解析した。長文ドキュメント評価指標のMPDocBench(84.6点)やMarathonDocBench(77.1点)において、Qwen 3.8-Max、Gemini-3.8-Flash、GLM-5.3-Flash、DeepSeek-4.1-Flashを上回るスコアを記録している。

動かし方と必要なハードウェア

モデルのパラメータ数は3Bで、ファイルサイズは約6.9GBに収まっており、一般的なコンシューマー向けGPUで十分に動作する。

単純にコンテキストウィンドウを広げる力技ではなく、SR-SWA機構と無界デコード(Unlimited-Horizon Decoding)を導入して注意機構の計算とメモリ消費を最適化した。

これにより、ページ数が増えても1トークンあたりのデコード遅延とVRAM使用量が安定し、読み進めるほど速度が低下してメモリが枯渇する問題を抑えている。

プロジェクトページにはダウンロードおよび実行手順が掲載されており、TransformersやSGLangを使ったデプロイに対応している。

なぜ重要か

分厚い契約書や有価証券報告書、過去の社内資料をRAGシステムへ取り込みたい開発者にとって、すぐに検証してみる価値があるモデルだ。ページ分割や個別OCR、後処理での結合といった面倒なパイプラインを1つの処理にまとめられる。

適切な注意機構さえ設計すれば、3Bクラスの小型モデルでも巨大な汎用モデル以上の成果を出せることを示している。ただし、かすれた低解像度のスキャンや特殊なレイアウトの文書に対して、どこまで正確に跨ぎ結合を維持できるかは、実際の業務環境で確認が必要になりそうだ。

情報源 (2)

  1. [1]
  2. [2]
    youtube.com(新しいタブで開きます)報道youtube.com

毎日のAIピックアップ