MiniMax, M3.1 Flash’i yerel olarak çalıştırmak için topluluk tarafından hazırlanan kuantizasyonları listeliyor

MiniMax, 428 milyar parametreli açık ağırlıklı M3.1 Flash modelinin, modeli kendi donanımlarında çalıştırmak isteyenlere yönelik topluluk yapımı kuantize sürümlerini bir araya getiren bir liste paylaştı. MiniMax’e göre daha düşük bitli ağırlıklar, modeli yüklemek için gereken belleği ve kod çözme sırasında taşınan ağırlık verilerini azaltıyor. Bunun kullanışlı hâle gelmesi için dikkatli kalibrasyon, verimli düşük bitli çekirdekler ve uzmanların GPU ile sistem RAM’i arasında dağıtılması gerekiyor.

Öne çıkardığı geliştiriciler:

• Unsloth: 143,9 GB boyutunda 2 bitlik Dynamic GGUF ağırlıkları; kodlama, araç kullanımı ve diğer iş yüklerinde kalibrasyon ve aslına uygunluk testleriyle.
• ViC305: SAGE-EXL3 kuantları, token düzeyinde aslına uygunluk ölçümleri ve tek bir DGX-Spark için tarif.
• PeasantSmith: Yerel kodlama ve araç kullanımı için Project Maya kuantları ve uzman aktarımı.
• MiaAI_lab: EXL3-EAQ kuantizasyon çalışmaları.
• jundotkim ve mlx-community: oQ kuantları; Apple Silicon’da oMLX üzerinden DSpark destekli kod çözmeyle.
• AMD (AIatAMD): AMD Instinct’e uyarlanmış Quark MXFP4.
• atomic_chat_hq: Yerel masaüstü iş akışları için GGUF dosyaları.
• superalesha: Dört RTX 3090’da kuantize ağırlıkları, uzman önbelleğe almayı ve sistem RAM’ini bir araya getiren özel çıkarım yöntemi.

Aslına uygunluk iddiaları MiniMax’ten veya bağımsız bir testten değil, kuantizasyonu yapanlardan geliyor. Gönderi, 1 Kasım itibarıyla X’te yaklaşık 400 beğeni almıştı.