Rock Matrix merilis EdgeRock-4B, model penalaran kecil dengan cache KV berukuran tetap sebagai sumber terbuka

Rock Matrix merilis bobot dan kode EdgeRock-4B, model penalaran teks dan gambar 4B, di GitHub, Hugging Face, dan ModelScope, dengan versi NF4, INT8, dan FP8. Makalahnya tersedia di arXiv (2610.10118). TestingCatalog membagikan pengumuman tersebut di X pada 31 Oktober.

Model ini didasarkan pada Qwen3.5-4B. Rock Matrix mengubah delapan lapisan full-attention-nya menjadi desain riwayat berkapasitas tetap yang menggabungkan state rekuren, atensi lokal, dan "Rock Memory Anchors" (RMA). Sebanyak 1.024 token terakhir disimpan secara utuh, sementara detail penting yang lebih lama disimpan di bank terpisah. Cache KV atensi tetap dibatasi hingga 72 MiB per percakapan, sedangkan cache Qwen3.5-4B membesar hingga 8 GiB pada 256K token.

Klaim dari Rock Matrix, yang belum diukur secara independen:

• Rata-rata pass@1 sebesar 82,9% pada AIME 2024–2026, dibandingkan 18,8% untuk model state terbatas terkuat yang diuji.
• Akurasi kueri 94,1% pada pengujian konteks panjang dengan masukan dari 16K hingga 130K token, dibandingkan 0,4% saat RMA dinonaktifkan.
• Pada MacBook Pro (M5 Pro, RAM 28GB) yang menjalankan runtime PyTorch Rock Matrix di GPU Mac tersebut, model menjawab soal perkalian sederhana secara bertahap, mulai menjawab setelah 4,6 detik, dan menghasilkan sekitar 9 token per detik.