MiniMax geeft overzicht van community-quantisaties om M3.1 Flash lokaal te draaien

MiniMax publiceerde een overzicht van door de community gemaakte, gekwantiseerde versies van zijn open-weightmodel M3.1 Flash met 428 miljard parameters, bedoeld voor mensen die het op hun eigen hardware draaien. Volgens MiniMax verlagen gewichten met minder bits het geheugen dat nodig is om het model te laden en de hoeveelheid gewichtdata die tijdens het decoderen wordt verplaatst. Om dit goed te laten werken, zijn zorgvuldige kalibratie, efficiënte kernels met lage bitprecisie en een verdeling van experts over GPU- en systeemgeheugen nodig.

De makers die MiniMax vermeldt:

• Unsloth: 2-bit Dynamic GGUF-gewichten van 143,9 GB, met kalibratie en tests van de outputgetrouwheid voor coderen, toolgebruik en andere workloads.
• ViC305: SAGE-EXL3-quants, metingen van de getrouwheid op tokenniveau en een configuratierecept voor één DGX Spark.
• PeasantSmith: Project Maya-quants en het offloaden van experts voor lokaal coderen en toolgebruik.
• MiaAI_lab: werk aan EXL3-EAQ-kwantisatie.
• jundotkim en mlx-community: oQ-quants, met decodering aangedreven door DSpark via oMLX op Apple Silicon.
• AMD (AIatAMD): Quark MXFP4, aangepast voor AMD Instinct.
• atomic_chat_hq: GGUF-bestanden voor lokale desktopworkflows.
• superalesha: aangepaste inferentie die gekwantiseerde gewichten, caching van experts en systeemgeheugen combineert op vier RTX 3090's.

De claims over getrouwheid komen van de makers van de quantizers zelf, niet van MiniMax of een onafhankelijke test. Het bericht had op 1 november ongeveer 400 likes op X.