MiniMax
@MiniMax__AI
在更多的硬件上使用MiniMax M3.1 Flash。
对428B模型进行量子化，为在局部运行它提供了更多方法。较低的位权重减少了加载模型所需的内存和解码过程中移动的权重数据。要使这些节省有用，需要仔细校准，高效的低位内核，以及跨GPU和系统RAM的硬件感知专家。
感谢做这项工作的建筑商：
•@UnslothAI @danielhanchen - 2位动态GGUF权重为143.9 GB，具有跨编码，工具使用和其他工作负载的校准和保真度测试。
•@ViC305 - SAGE-EXL3，令牌级保真度测量和单dgx - spark配方。
•@PeasantSmith -项目玛雅量化和专家卸载本地编码和工具使用。
•@MiaAI_lab - EXL3-EAQ量化工作。
•@jundotkim + mlx-community - oQ quants和dspark驱动的解码通过苹果硅上的oMLX。
•@AIatAMD -夸克MXFP4适应AMD本能。
•@atomic_chat_hq -本地桌面工作流的GGUFs。
•@superalesha -自定义推理工作，结合量化权重，专家缓存和4× RTX 3090上的系统RAM。
每一个共享的量化、内核、度量和配方都为下一个构建者提供了一个更好的起点。谢谢你！
