Simon Willison

适合小于 60GB 内存的编码任务，目前最好的开源权重 Mixture-of-Experts（MoE）大语言模型是什么？ 我觉得要在我能用上的硬件上跑出比较可交互的速度，MoE 可能是必须的——我想要比每秒 12 token 更快。