Rock Matrix veröffentlicht EdgeRock-4B als Open Source: ein kleines Reasoning-Modell mit fest dimensioniertem KV-Cache

Rock Matrix hat die Gewichte und den Code von EdgeRock-4B, einem 4B-Reasoning-Modell für Text und Bilder, auf GitHub, Hugging Face und ModelScope veröffentlicht, zusammen mit NF4-, INT8- und FP8-Versionen. Ein Paper ist auf arXiv (2610.10118) verfügbar. TestingCatalog verbreitete die Ankündigung am 31. Oktober auf X.

Das Modell basiert auf Qwen3.5-4B. Rock Matrix hat dessen acht Full-Attention-Layer in ein Design mit festgelegter Kapazität für den Verlauf umgewandelt, das rekurrenten Zustand, lokale Attention und „Rock Memory Anchors“ (RMA) kombiniert. Die letzten 1.024 Tokens bleiben vollständig erhalten; wichtige ältere Details werden in einem separaten Speicher abgelegt. Der Attention-KV-Cache bleibt pro Unterhaltung auf 72 MiB begrenzt, während er bei Qwen3.5-4B bei 256K Tokens auf 8 GiB anwächst.

Angaben von Rock Matrix, nicht unabhängig überprüft:

• Durchschnittlicher pass@1-Wert von 82,9 % bei AIME 2024–2026, gegenüber 18,8 % für das stärkste getestete Modell mit begrenztem Zustand.
• 94,1 % Abfragegenauigkeit in einem Langkontext-Test mit Eingaben von 16K bis 130K Tokens, gegenüber 0,4 % bei deaktiviertem RMA.
• Auf einem MacBook Pro (M5 Pro, 28 GB RAM) mit Rock Matrix’ PyTorch-Runtime auf der Mac-GPU löste es schrittweise eine einfache Multiplikation, begann nach 4,6 Sekunden mit der Antwort und generierte etwa 9 Tokens pro Sekunde.