Rock Matrix 开源 EdgeRock-4B：一款采用固定大小 KV 缓存的小型推理模型

Rock Matrix 在 GitHub、Hugging Face 和 ModelScope 发布了 EdgeRock-4B 的权重和代码。这是一款 4B 文本与图像推理模型，提供 NF4、INT8 和 FP8 版本。相关论文已发布在 arXiv（2610.10118）。TestingCatalog 于 10 月 31 日在 X 上转发了这则公告。

该模型基于 Qwen3.5-4B。Rock Matrix 将其八个全注意力层改造成固定容量的历史记录设计，结合循环状态、局部注意力和“Rock Memory Anchors”（RMA）。模型完整保留最近 1,024 个 token，并将较早的重要细节保存到单独的存储区。每段对话的注意力 KV 缓存上限为 72 MiB；相比之下，Qwen3.5-4B 在 256K token 时，缓存会增长到 8 GiB。

以下数据为 Rock Matrix 的说法，未经独立测量：

• 在 AIME 2024–2026 上，平均 pass@1 为 82.9%；其测试的最强有界状态模型为 18.8%。
• 在一项长上下文测试中，输入长度为 16K 至 130K token 时，查询准确率为 94.1%；关闭 RMA 后为 0.4%。
• 在一台搭载 M5 Pro、配备 28GB RAM 的 MacBook Pro 上，使用 Rock Matrix 的 PyTorch 运行时和 Mac 的 GPU，模型逐步解答了一道简单的乘法题，4.6 秒后开始作答，生成速度约为每秒 9 个 token。