MiniMax 汇总了可在本地运行 M3.1 Flash 的社区量化版本

MiniMax 发布了一份社区量化版本汇总，涵盖其拥有 428B 参数、开放权重的 M3.1 Flash，面向希望在自有硬件上运行该模型的用户。MiniMax 表示，低比特权重可减少加载模型所需的内存，以及解码时传输的权重数据；要让量化真正实用，则需要仔细校准、高效的低比特内核，并将专家分布在 GPU 和系统 RAM 上。

该帖鸣谢的开发者和团队：

• Unsloth： 143.9 GB 的 2-bit Dynamic GGUF 权重，并针对编程、工具调用等工作负载进行校准和保真度测试。
• ViC305： SAGE-EXL3 量化版本、token 级保真度测量，以及单台 DGX-Spark 的运行方案。
• PeasantSmith： Project Maya 量化版本，以及用于本地编程和工具调用的专家卸载方案。
• MiaAI_lab： EXL3-EAQ 量化工作。
• jundotkim 和 mlx-community： oQ 量化版本，可通过 Apple Silicon 上的 oMLX 使用 DSpark 加速解码。
• AMD (AIatAMD)： 为 AMD Instinct 适配的 Quark MXFP4。
• atomic_chat_hq： 面向本地桌面工作流的 GGUF 文件。
• superalesha： 在四张 RTX 3090 上结合量化权重、专家缓存和系统 RAM 的定制推理方案。

保真度方面的说法来自量化工具的开发者，并非 MiniMax 或独立测试机构。到 11 月 1 日，该帖在 X 上约有 400 个赞。