MiniMax, M3.1 Flash를 로컬에서 실행할 수 있도록 커뮤니티 양자화 버전 소개

MiniMax는 자체 하드웨어에서 모델을 실행하려는 사용자를 위해 428B 파라미터 오픈 웨이트 모델 M3.1 Flash의 커뮤니티 제작 양자화 버전을 정리해 공개했습니다. MiniMax에 따르면 저비트 가중치는 모델을 불러오는 데 필요한 메모리와 디코딩 중 전송되는 가중치 데이터의 양을 줄여 줍니다. 이를 유용하게 구현하려면 세심한 보정, 효율적인 저비트 커널, GPU와 시스템 RAM에 전문가를 배치하는 작업이 필요합니다.

MiniMax가 소개한 제작자는 다음과 같습니다.

• Unsloth: 143.9 GB의 2비트 Dynamic GGUF 가중치. 코딩, 도구 사용 및 기타 작업 부문에서 보정과 성능 충실도 테스트를 진행했습니다.
• ViC305: SAGE-EXL3 양자화 버전, 토큰 단위 성능 충실도 측정, 단일 DGX-Spark용 레시피.
• PeasantSmith: 로컬 코딩 및 도구 사용을 위한 Project Maya 양자화 버전과 전문가 오프로드.
• MiaAI_lab: EXL3-EAQ 양자화 작업.
• jundotkim 및 mlx-community: oQ 양자화 버전. Apple Silicon에서 oMLX를 통해 DSpark 기반 디코딩을 제공합니다.
• AMD (AIatAMD): AMD Instinct에 맞게 적용한 Quark MXFP4.
• atomic_chat_hq: 로컬 데스크톱 워크플로용 GGUF.
• superalesha: 4대의 RTX 3090에서 양자화 가중치, 전문가 캐싱, 시스템 RAM을 결합한 맞춤형 추론.

성능 충실도 관련 주장은 MiniMax나 독립적인 테스트가 아니라 양자화 버전 제작자들이 제시한 것입니다. 11월 1일 기준 X 게시물은 좋아요 약 400개를 받았습니다.