Rock Matrix udostępnia EdgeRock-4B jako open source — mały model rozumujący ze stałym rozmiarem pamięci podręcznej KV

Rock Matrix opublikował wagi i kod EdgeRock-4B, modelu rozumującego obsługującego tekst i obrazy, z 4 mld parametrów, w serwisach GitHub, Hugging Face i ModelScope. Dostępne są wersje NF4, INT8 i FP8. Artykuł opublikowano w arXiv (2610.10118). O ogłoszeniu poinformował na X serwis TestingCatalog 31 października.

Model bazuje na Qwen3.5-4B. Rock Matrix przekształcił osiem warstw z pełną uwagą w projekt o stałej pojemności historii, łączący stan rekurencyjny, uwagę lokalną i „Rock Memory Anchors” (RMA). Ostatnie 1 024 tokeny są przechowywane w całości, a ważne starsze informacje trafiają do osobnego banku. Pamięć podręczna KV mechanizmu uwagi pozostaje ograniczona do 72 MiB na rozmowę; w Qwen3.5-4B rośnie do 8 GiB przy 256K tokenów.

Deklaracje Rock Matrix, niepotwierdzone niezależnymi pomiarami:

• Średni wynik pass@1 wynoszący 82,9% w AIME 2024–2026, wobec 18,8% dla najmocniejszego testowanego modelu o ograniczonym stanie.
• 94,1% trafności odpowiedzi na zapytania w teście długiego kontekstu z danymi wejściowymi od 16K do 130K tokenów, wobec 0,4% po wyłączeniu RMA.
• Na MacBooku Pro (M5 Pro, 28 GB RAM), korzystającym z PyTorch runtime Rock Matrix i układu GPU Maca, model krok po kroku rozwiązał proste mnożenie. Zaczął odpowiadać po 4,6 sekundy i generował około 9 tokenów na sekundę.