Deepseek、文書画像を10倍圧縮する軽量OCRシステムを公開

Deepseek OCRは、大規模言語モデル向けに設計されたオープンソースの文書解析・画像圧縮システムだ。文書画像をテキストとしてではなく視覚的に圧縮処理することで、元の情報の97%を維持したままデータ量を最大10分の1に圧縮する。長い文書を読み込ませてもコンテキスト長やメモリの上限に引っかかりにくい。

コードとモデルの重みはすでに一般公開されており、すぐに利用できる。

何ができるのか

約100の言語に対応し、一般的なテキストだけでなく、図表や化学式、幾何学図形まで認識して元のレイアウトを保ったまま抽出できる。

ディープパースモードを利用すれば、複雑な財務チャートを解析し、自動的に構造化されたMarkdownテーブルやグラフデータとして出力することも可能だ。

文書の複雑さに応じて消費するビジョントークン数が柔軟に変わる点も特徴的だ。シンプルなスライドなら1ページあたりわずか64トークン、書籍やレポートなら約100トークンで済む。

段組みが多く文字が密集した新聞のような紙面では、ガンダムモードと呼ばれる高解像度処理に切り替わるが、それでも最大800トークンに収まる。従来のOCRシステムが同等の処理に数千トークンを費やしていたことを考えると極めて少ない。

ベンチマークのOmniDocBenchにおいて、Deepseek OCRは100トークンで256トークンを要するGOT-OCR 2.0を上回るスコアを記録した。800トークン未満の設定でも、1ページあたり6000トークン以上を消費するMinerU 2.0を破っている。

どうやって実現しているのか

システム全体は驚くほど軽量だ。画像処理を担う3億8000万パラメータのDeepEncoderと、アクティブパラメータが5億7000万のDeepseek3B-MoEをベースにしたテキスト生成器で構成されている。

核となるのはDeepEncoderの設計だ。Metaの画像セグメンテーションモデルであるSAM（8000万パラメータ）と、OpenAIのマルチモーダルモデルであるCLIP（3億パラメータ）を組み合わせ、その中間に16倍の圧縮モジュールを配置している。

1024×1024ピクセルの画像は通常4096トークンに展開されるが、SAMを通した直後に圧縮モジュールがわずか256トークンまで削減する。計算負荷の重いCLIPには圧縮後のトークンだけを渡すため、推論コストを大幅に抑え込める。

学習には100言語にわたる3000万ページのPDF（うち英語と中国語が2500万ページ）のほか、1000万件の合成チャート、500万件の化学式、100万件の幾何学図形データが使用された。

処理能力と動作環境

実際の運用環境において、単一のNvidia A100 GPUで1日あたり20万ページ以上の文書を処理できる。

8基のA100を積んだサーバー20台の環境を用意できれば、処理能力は1日あたり3300万ページに達する。言語モデルの事前学習用データセットを大量のPDFから構築したい組織にとって頼もしい選択肢になるはずだ。

なぜ重要か

RAGや社内文書の検索パイプラインを構築している開発者なら、今すぐ試す価値がある。トークン消費量を劇的に抑えつつ高精度にテキスト化できるため、APIコストとコンテキスト長の問題を一気に軽減できるからだ。

競合ツールが巨大なマルチモーダルモデルを力任せに動かすなか、SAMとCLIPの間に圧縮器を挟むというDeepseekのアプローチは非常にスマートだ。軽量な設計でも工夫次第で既存の重量級モデルを圧倒できる好例と言える。