Rock Matrix publie en open source EdgeRock-4B, un petit modèle de raisonnement doté d’un cache KV de taille fixe

Rock Matrix a publié les poids et le code d’EdgeRock-4B, un modèle de raisonnement texte et image de 4B paramètres, sur GitHub, Hugging Face et ModelScope, en versions NF4, INT8 et FP8. Un article est disponible sur arXiv (2610.10118). L’annonce a été relayée sur X par TestingCatalog le 31 octobre.

Le modèle est basé sur Qwen3.5-4B. Rock Matrix a converti ses huit couches à attention complète en une architecture à historique de capacité fixe, combinant état récurrent, attention locale et « Rock Memory Anchors » (RMA). Les 1 024 derniers tokens sont conservés intégralement, et les détails importants plus anciens sont enregistrés dans une banque distincte. Le cache KV d’attention reste plafonné à 72 MiB par conversation, tandis que celui de Qwen3.5-4B atteint 8 GiB à 256K tokens.

Chiffres avancés par Rock Matrix, non mesurés de façon indépendante :

• 82,9 % de pass@1 moyen sur AIME 2024–2026, contre 18,8 % pour le modèle à état borné le plus performant qu’il a testé.
• 94,1 % de précision des réponses à une requête lors d’un test de contexte long, avec des entrées de 16K à 130K tokens, contre 0,4 % lorsque RMA est désactivé.
• Sur un MacBook Pro (M5 Pro, 28GB de RAM) exécutant le runtime PyTorch de Rock Matrix sur le GPU du Mac, le modèle a résolu une multiplication simple étape par étape, a commencé à répondre après 4,6 secondes et a généré environ 9 tokens par seconde.