Rock Matrix открыла исходный код EdgeRock-4B — небольшой модели для рассуждений с KV-кэшем фиксированного размера

Rock Matrix опубликовала веса и код EdgeRock-4B — модели для рассуждений с текстом и изображениями на 4B параметров — на GitHub, Hugging Face и ModelScope. Доступны версии NF4, INT8 и FP8. Статья опубликована на arXiv (2610.10118). 31 октября анонс распространил в X аккаунт TestingCatalog.

В основе модели лежит Qwen3.5-4B. Rock Matrix преобразовала восемь слоёв с полным вниманием в архитектуру с историей фиксированной ёмкости, сочетающую рекуррентное состояние, локальное внимание и «якоря памяти Rock» (RMA). Последние 1 024 токена хранятся полностью, а важные более ранние детали сохраняются в отдельном хранилище. KV-кэш внимания ограничен 72 МиБ на диалог, тогда как у Qwen3.5-4B он растёт до 8 ГиБ при 256K токенов.

Заявления Rock Matrix, которые не проверялись независимо:

• Средний pass@1 на AIME 2024–2026 — 82,9% против 18,8% у самой сильной модели с ограниченным состоянием из проверенных компанией.
• Точность ответов на запросы в тесте с длинным контекстом — 94,1% при объёме входных данных от 16K до 130K токенов; при отключённом RMA — 0,4%.
• На MacBook Pro (M5 Pro, 28 ГБ ОЗУ) с PyTorch-рантаймом Rock Matrix, работающим на GPU Mac, модель пошагово решила пример на умножение, начала отвечать через 4,6 секунды и генерировала около 9 токенов в секунду.