Rock Matrix, 고정 크기 KV 캐시를 갖춘 소형 추론 모델 EdgeRock-4B 오픈소스로 공개

Rock Matrix는 4B 텍스트·이미지 추론 모델 EdgeRock-4B의 가중치와 코드를 GitHub, Hugging Face, ModelScope에 공개했으며, NF4, INT8, FP8 버전도 함께 제공했습니다. 논문은 arXiv(2610.10118)에 올라와 있습니다. TestingCatalog는 10월 31일 X에서 이 발표를 전했습니다.

이 모델은 Qwen3.5-4B를 기반으로 합니다. Rock Matrix는 전체 어텐션 레이어 8개를 순환 상태, 로컬 어텐션, "Rock Memory Anchors"(RMA)를 결합한 고정 용량 히스토리 설계로 바꿨습니다. 최근 1,024개 토큰은 그대로 보존하고, 중요한 이전 정보는 별도 저장소에 저장합니다. 어텐션 KV 캐시는 대화당 72 MiB로 제한됩니다. 반면 Qwen3.5-4B의 KV 캐시는 토큰이 256K에 이르면 8 GiB까지 커집니다.

다음은 Rock Matrix의 주장으로, 독립적으로 측정되지는 않았습니다.

• AIME 2024–2026에서 평균 pass@1 82.9%를 기록했습니다. 테스트한 가장 성능이 좋은 제한 상태 모델의 18.8%와 비교됩니다.
• 입력 길이가 16K~130K 토큰인 장문 컨텍스트 테스트에서 질의 정확도 94.1%를 기록했습니다. RMA를 끈 경우에는 0.4%였습니다.
• Rock Matrix의 PyTorch 런타임을 MacBook Pro(M5 Pro, RAM 28GB)의 GPU에서 실행했을 때, 간단한 곱셈 문제를 단계별로 풀었습니다. 4.6초 만에 답변을 시작했고 초당 약 9개 토큰을 생성했습니다.