Rohan Paul

Meta 在 Huggingface 上发布了 Muse Spark Open 的权重，Huggingface 是一个为编码和代理工作而构建的 816B 参数模型。 开放版本与 Muse Spark 1.3 共享相同的基础模型，并具有额外的安全后训练，以防止作为没有系统护栏的独立模型被误用，扭转了 Meta 从 4 月份开始的第一个专有的、封闭权重前沿模型策略。 它的 62 层中的每一层都拥有 256 个专家网络，并通过 8 个网络路由每个令牌，因此部署需要 816B 参数模型的内存，但以 42B 模型的速度运行。 这项存储费用解释了 Apple 的合作，因为 M5 Ultra 提供 1.2 TB/s 的统一内存，而 Mac Studio 则可承载高达 512GB 的内存。 在 512GB M3 Ultra 上测试的 3 位量化程序占用了约 344GB 的空间，并在短时间内以约 21 tok/s 的速度运行。