Rock Matrix ने EdgeRock-4B को ओपन-सोर्स किया, यह एक छोटा रीजनिंग मॉडल है जिसमें KV cache का आकार निश्चित है

Rock Matrix ने EdgeRock-4B के वेट और कोड GitHub, Hugging Face और ModelScope पर जारी किए। यह 4B का टेक्स्ट और इमेज रीजनिंग मॉडल है, जिसके NF4, INT8 और FP8 संस्करण उपलब्ध हैं। इसका पेपर arXiv (2610.10118) पर है। TestingCatalog ने 31 अक्टूबर को X पर इस घोषणा को साझा किया।

यह मॉडल Qwen3.5-4B पर आधारित है। Rock Matrix ने इसकी आठ फुल-अटेंशन लेयर्स को एक निश्चित क्षमता वाले हिस्ट्री डिज़ाइन में बदला है, जो रिकरेंट स्टेट, लोकल अटेंशन और "Rock Memory Anchors" (RMA) को मिलाता है। आखिरी 1,024 टोकन पूरे रखे जाते हैं और पुराने ज़रूरी विवरण एक अलग बैंक में सहेजे जाते हैं। हर बातचीत में attention KV cache की सीमा 72 MiB रहती है, जबकि Qwen3.5-4B में 256K टोकन पर यह बढ़कर 8 GiB हो जाती है।

Rock Matrix के दावे, जिनका स्वतंत्र रूप से मापन नहीं किया गया है:

• AIME 2024–2026 पर औसत pass@1 स्कोर 82.9%, जबकि उसके परीक्षण में सबसे मज़बूत bounded-state मॉडल का स्कोर 18.8% था।
• 16K से 130K टोकन तक के इनपुट वाले long-context टेस्ट में क्वेरी सटीकता 94.1%; RMA बंद करने पर यह 0.4% थी।
• MacBook Pro (M5 Pro, 28GB RAM) पर Mac के GPU का उपयोग करके Rock Matrix का PyTorch runtime चलाने पर, मॉडल ने एक आसान गुणा सवाल का चरण-दर-चरण जवाब दिया। उसने 4.6 सेकंड में जवाब देना शुरू किया और लगभग 9 टोकन प्रति सेकंड जनरेट किए।