Rock Matrix publica como código abierto EdgeRock-4B, un pequeño modelo de razonamiento con una caché KV de tamaño fijo

Rock Matrix publicó los pesos y el código de EdgeRock-4B, un modelo de razonamiento de texto e imágenes de 4B, en GitHub, Hugging Face y ModelScope, con versiones NF4, INT8 y FP8. Hay un artículo en arXiv (2610.10118). TestingCatalog compartió el anuncio en X el 31 de octubre.

El modelo se basa en Qwen3.5-4B. Rock Matrix convirtió sus ocho capas de atención completa en un diseño de historial de capacidad fija que combina estado recurrente, atención local y «Rock Memory Anchors» (RMA). Conserva íntegros los últimos 1,024 tokens y guarda los detalles antiguos importantes en un banco separado. La caché KV de atención se mantiene limitada a 72 MiB por conversación, mientras que la de Qwen3.5-4B crece hasta 8 GiB con 256K tokens.

Afirmaciones de Rock Matrix, no verificadas de forma independiente:

• Una media de 82.9% de pass@1 en AIME 2024–2026, frente al 18.8% del modelo de estado acotado más sólido que probó.
• 94.1% de precisión en consultas en una prueba de contexto largo con entradas de 16K a 130K tokens, frente al 0.4% con RMA desactivado.
• En un MacBook Pro (M5 Pro, 28GB de RAM), con el entorno de ejecución PyTorch de Rock Matrix en la GPU del Mac, resolvió una multiplicación sencilla paso a paso, empezó a responder tras 4.6 segundos y generó aproximadamente 9 tokens por segundo.