Baidu phát hành mã nguồn mở Unlimited OCR 2, bộ phân tích tài liệu có chi phí giải mã gần như không đổi

Baidu công bố Unlimited OCR 2 trên X vào ngày 26 tháng 10, cùng mã nguồn trên GitHub và trọng số trên Hugging Face. Mô hình được xây dựng để phân tích tài liệu dài gần như tùy ý trong một cửa sổ ngữ cảnh hữu hạn.

Baidu cho biết cơ chế chú ý SR-SWA mới của hãng cô đọng các tương tác chú ý giữa văn bản và hình ảnh thành một tập hợp tham chiếu làm việc có kích thước cố định, nhờ đó độ trễ giải mã mỗi bước và mức sử dụng bộ nhớ gần như không đổi khi tài liệu dài hơn. Bản tóm tắt được chia sẻ lại về đợt phát hành cho biết mô hình có 3.34B tham số, được phát hành theo giấy phép MIT và sử dụng tập làm việc cố định gồm 512 token; những chi tiết này đến từ bài đăng của một người dùng, không phải thông báo của Baidu.

Các tuyên bố từ thông báo, chưa được đo lường độc lập:

• Đạt kết quả tiên tiến nhất trên MPDocBench và MarathonDocBench, các bộ đánh giá bao quát tài liệu dài từ hàng chục đến hàng trăm trang.