Rock Matrix công bố mã nguồn mở EdgeRock-4B, mô hình suy luận nhỏ với bộ nhớ đệm KV có kích thước cố định

Rock Matrix đã phát hành trọng số và mã nguồn của EdgeRock-4B, mô hình suy luận văn bản và hình ảnh 4B, trên GitHub, Hugging Face và ModelScope, với các phiên bản NF4, INT8 và FP8. Bài báo được đăng trên arXiv (2610.10118). TestingCatalog đăng lại thông báo trên X vào ngày 31 tháng 10.

Mô hình dựa trên Qwen3.5-4B. Rock Matrix chuyển đổi tám lớp attention đầy đủ sang thiết kế lịch sử có dung lượng cố định, kết hợp trạng thái hồi quy, attention cục bộ và "Rock Memory Anchors" (RMA). 1.024 token gần nhất được giữ nguyên đầy đủ, còn các chi tiết quan trọng cũ hơn được lưu vào một vùng nhớ riêng. Bộ nhớ đệm KV của attention được giới hạn ở 72 MiB cho mỗi cuộc hội thoại, trong khi bộ nhớ đệm của Qwen3.5-4B tăng lên 8 GiB ở mức 256K token.

Các tuyên bố từ Rock Matrix, chưa được đo lường độc lập:

• Điểm pass@1 trung bình 82,9% trên AIME 2024–2026, so với 18,8% của mô hình trạng thái giới hạn mạnh nhất mà họ thử nghiệm.
• Độ chính xác truy vấn 94,1% trong bài kiểm tra ngữ cảnh dài với đầu vào từ 16K đến 130K token, so với 0,4% khi tắt RMA.
• Trên MacBook Pro (M5 Pro, RAM 28GB) chạy runtime PyTorch của Rock Matrix trên GPU của máy Mac, mô hình giải từng bước một phép nhân đơn giản, bắt đầu trả lời sau 4,6 giây và tạo khoảng 9 token mỗi giây.