MiniMax liệt kê các bản lượng tử hóa do cộng đồng thực hiện để chạy M3.1 Flash cục bộ

MiniMax đăng tổng hợp các phiên bản lượng tử hóa do cộng đồng tạo ra cho M3.1 Flash mã trọng số mở, 428 tỷ tham số, hướng đến những người chạy mô hình trên phần cứng của riêng mình. MiniMax cho biết trọng số bit thấp hơn giúp giảm bộ nhớ cần để tải mô hình cũng như lượng dữ liệu trọng số phải truyền trong quá trình giải mã; để các phiên bản này hữu ích cần hiệu chuẩn cẩn thận, kernel bit thấp hiệu quả và phân bổ các chuyên gia giữa GPU với RAM hệ thống.

Các nhóm phát triển được MiniMax ghi nhận:

• Unsloth: Trọng số GGUF Dynamic 2-bit, dung lượng 143,9 GB, kèm hiệu chuẩn và kiểm tra độ trung thực trên các tác vụ lập trình, sử dụng công cụ và những workload khác.
• ViC305: Các bản lượng tử hóa SAGE-EXL3, phép đo độ trung thực ở cấp token và hướng dẫn cấu hình cho một máy DGX-Spark.
• PeasantSmith: Các bản lượng tử hóa Project Maya và cơ chế chuyển chuyên gia sang bộ nhớ ngoài để lập trình và sử dụng công cụ cục bộ.
• MiaAI_lab: Công việc lượng tử hóa EXL3-EAQ.
• jundotkim và mlx-community: Các bản lượng tử hóa oQ, với giải mã tăng tốc bằng DSpark thông qua oMLX trên Apple Silicon.
• AMD (AIatAMD): Quark MXFP4 được điều chỉnh cho AMD Instinct.
• atomic_chat_hq: Các bản GGUF phục vụ quy trình làm việc cục bộ trên máy tính để bàn.
• superalesha: Hệ thống suy luận tùy chỉnh kết hợp trọng số lượng tử hóa, bộ nhớ đệm chuyên gia và RAM hệ thống trên bốn GPU RTX 3090.

Các tuyên bố về độ trung thực đến từ chính những đơn vị thực hiện lượng tử hóa, không phải MiniMax hay một bên độc lập. Đến ngày 1 tháng 11, bài đăng có khoảng 400 lượt thích trên X.