ニュース

Baidu、数百ページの長文も高速OCRできる「Unlimited OCR 2」公開

 Baidu(百度)は10月27日、長文ドキュメント解析向けAIモデル「Unlimited OCR 2」をオープンウェイトで公開した。コードやモデルのウェイト(重み)はGitHubやHugging Face、ModelScopeで無償公開しており、ライセンスはMITライセンス。

 Unlimited OCR 2は、文書が長くなるほど増大する計算量やメモリ使用量を抑え、数百ページ規模の解析に対応するAIモデル。必要な文字や画像のアテンションを決められたサイズの作業用参照セットに圧縮する「Sparse Reference Sliding Window Attention(SR-SWA)」を採用。これにより、文書の長さにかかわらず、デコードの各ステップにかかる時間やメモリ使用量をほぼ一定に保てるという。

 さらに「Unlimited-Horizon Decoding」を組み合わせ、文書を複数のページ群に分けて順次処理する。隣接するページ群の境界ではKVキャッシュを再利用し、不要になった分を解放することで、ページをまたぐ情報の連続性を保ちながらGPUメモリの消費を抑える。同社の評価では、最大300ページの文書でも高い解析精度を維持しているという。数十ページ規模の「MPDocBench」と数百ページ規模の「MarathonDocBench」の両ベンチマークで、比較対象中最高の総合スコアを達成したとしている。

 処理速度については、100ページの文書で、デコードの各ステップがFull Attention比で7倍、R-SWA比で5.6倍高速になったという。文書全体の処理時間ではなく、ステップ単位の速度比較となる。

 推論環境はPyTorch/Hugging Face TransformersとSGLangに対応し、サービス運用には後者を推奨する。Transformersでは、NVIDIA A800-80GBとPython 3.10の環境で動作確認済み。複数ページを1リクエストで解析する「infer_multi」と、単一ページを動的に分割して読み取る「infer」を利用できる。SGLang向けには、1ウィンドウあたり10ページ、1ページあたりの出力上限2万トークンなどの設定例を公開している。