MiniMax、M3.1 Flashをローカルで実行するためのコミュニティ製量子化版を紹介

MiniMaxは、自社の428Bパラメーターのオープンウェイトモデル「M3.1 Flash」について、手元のハードウェアで実行したい人向けに、コミュニティが作成した量子化版をまとめて投稿しました。MiniMaxによると、低ビットの重みを使うことで、モデルの読み込みに必要なメモリと、デコード中に転送される重みデータを削減できます。実用化には、慎重なキャリブレーション、効率的な低ビットカーネル、GPUとシステムRAMにまたがるエキスパートの配置が必要だといいます。

紹介された開発者・プロジェクトは以下のとおりです。

• Unsloth: 143.9 GBの2-bit Dynamic GGUF重み。コーディング、ツール利用などのワークロードでキャリブレーションと忠実度テストを実施。
• ViC305: SAGE-EXL3量子化版、トークン単位の忠実度測定、単一DGX-Spark向けの手順。
• PeasantSmith: ローカルでのコーディングやツール利用向けに、Project Mayaの量子化版とエキスパートのオフロードを提供。
• MiaAI_lab: EXL3-EAQ量子化に取り組む。
• jundotkimとmlx-community: oQ量子化版を提供。Apple Siliconでは、oMLX経由でDSparkを活用したデコードに対応。
• AMD (AIatAMD): Quark MXFP4をAMD Instinct向けに適応。
• atomic_chat_hq: ローカルのデスクトップ環境向けにGGUFを提供。
• superalesha: 4台のRTX 3090で、量子化重み、エキスパートキャッシュ、システムRAMを組み合わせたカスタム推論を実現。

忠実度に関する主張は量子化版の開発者自身によるもので、MiniMaxや独立したテストによるものではありません。11月1日時点で、この投稿はXで約400件の「いいね」を獲得していました。