Rock Matrix maakt EdgeRock-4B open source, een klein redeneermodel met een KV-cache van vaste grootte

Rock Matrix heeft de gewichten en code van EdgeRock-4B op GitHub, Hugging Face en ModelScope uitgebracht: een redeneermodel voor tekst en afbeeldingen met 4 miljard parameters, beschikbaar in versies met NF4, INT8 en FP8. Een paper is te vinden op arXiv (2610.10118). TestingCatalog deelde de aankondiging op 31 oktober via X.

Het model is gebaseerd op Qwen3.5-4B. Rock Matrix heeft de acht lagen met volledige aandacht omgezet naar een ontwerp met een geheugengeschiedenis van vaste capaciteit, waarin een recurrente toestand, lokale aandacht en „Rock Memory Anchors” (RMA) worden gecombineerd. De laatste 1.024 tokens worden volledig bewaard, terwijl belangrijke oudere details in een aparte opslag worden opgeslagen. De KV-cache voor aandacht blijft per gesprek beperkt tot 72 MiB; die van Qwen3.5-4B groeit bij 256K tokens tot 8 GiB.

Claims van Rock Matrix, niet onafhankelijk gemeten:

• Een gemiddelde pass@1-score van 82,9% op AIME 2024–2026, tegenover 18,8% voor het sterkste model met begrensde toestand dat het heeft getest.
• Een nauwkeurigheid van 94,1% bij vragen over een lang-contexttest met invoer van 16K tot 130K tokens, tegenover 0,4% wanneer RMA is uitgeschakeld.
• Op een MacBook Pro (M5 Pro, 28GB RAM) met de PyTorch-runtime van Rock Matrix op de GPU van de Mac beantwoordde het model een eenvoudige vermenigvuldiging stap voor stap. Het begon na 4,6 seconden met antwoorden en genereerde ongeveer 9 tokens per seconde.