Baidu、デコードコストがほぼ一定の文書パーサー「Unlimited OCR 2」をオープンソース化

Baiduは10月26日、XでUnlimited OCR 2を発表し、コードをGitHubで、重みをHugging Faceで公開しました。このモデルは、有限のコンテキストウィンドウ内で、事実上どんな長さの文書でも解析できるように設計されています。

Baiduによると、新しいSR-SWA attentionメカニズムは、テキストと視覚情報のattention相互作用を固定サイズの作業用参照セットに集約します。そのため、文書が長くなっても、各ステップのデコード遅延とメモリ使用量はほぼ一定に保たれます。リリース内容を転載した要約によると、モデルのパラメーター数は3.34Bで、MITライセンスで公開され、固定の作業セットとして512トークンを使用します。これらの詳細はBaiduの発表ではなく、ユーザーの投稿に基づくものです。

以下は発表での主張であり、独立した測定によるものではありません。

• 数十〜数百ページの文書を対象とするMPDocBenchとMarathonDocBenchで、最先端の結果を達成。