Rock Matrix 開源 EdgeRock-4B：採用固定大小 KV 快取的小型推理模型

Rock Matrix 已在 GitHub、Hugging Face 和 ModelScope 上發布 EdgeRock-4B 的權重與程式碼。這是一款 4B 文字與圖像推理模型，提供 NF4、INT8 和 FP8 版本。論文已刊登於 arXiv（2610.10118）。TestingCatalog 於 10 月 31 日在 X 上轉發了這項公告。

此模型以 Qwen3.5-4B 為基礎。Rock Matrix 將其八個完整注意力層改為固定容量的歷史記錄架構，結合循環狀態、局部注意力與「Rock Memory Anchors」（RMA）。模型會完整保留最近 1,024 個 token，並將較早的重要細節存入獨立的記憶庫。每段對話的注意力 KV 快取維持在 72 MiB 上限；相較之下，Qwen3.5-4B 在 256K 個 token 時會增長至 8 GiB。

以下為 Rock Matrix 的說法，未經獨立測量：

• 在 AIME 2024–2026 上，平均 pass@1 為 82.9%；該公司測試的最強有界狀態模型則為 18.8%。
• 在輸入長度為 16K 至 130K token 的長上下文測試中，查詢準確率為 94.1%；關閉 RMA 後則為 0.4%。
• 在配備 28GB RAM 的 MacBook Pro（M5 Pro）上，使用 Rock Matrix 的 PyTorch 執行環境並透過 Mac 的 GPU 運行，模型逐步回答了一道簡單的乘法題，4.6 秒後開始作答，生成速度約為每秒 9 個 token。