Rock Matrix、固定サイズのKVキャッシュを備えた小型推論モデルEdgeRock-4Bをオープンソース化

Rock Matrixは、4Bのテキスト・画像推論モデルEdgeRock-4Bの重みとコードをGitHub、Hugging Face、ModelScopeで公開し、NF4、INT8、FP8の各バージョンも提供した。論文はarXiv（2610.10118）で公開されている。発表は10月31日、TestingCatalogがXで紹介した。

このモデルはQwen3.5-4Bをベースにしている。Rock Matrixは、8つのフルアテンション層を、再帰状態、ローカルアテンション、「Rock Memory Anchors」（RMA）を組み合わせた固定容量の履歴設計に置き換えた。直近の1,024トークンは完全な形で保持し、それ以前の重要な情報は別のバンクに保存する。アテンションのKVキャッシュは会話ごとに72 MiBに抑えられる一方、Qwen3.5-4Bでは256Kトークンで8 GiBまで増加する。

以下はRock Matrixによる主張であり、独立した測定によるものではない。

• AIME 2024–2026で平均pass@1が82.9%。同社がテストした、最も性能の高い有界状態モデルは18.8%。
• 入力が16K～130Kトークンの長文脈テストで、クエリ精度は94.1%。RMAをオフにした場合は0.4%。
• MacBook Pro（M5 Pro、メモリ28GB）で、MacのGPU上でRock MatrixのPyTorchランタイムを実行したところ、簡単な掛け算を段階的に解き始め、回答開始まで4.6秒、生成速度は約9トークン/秒だった。