
要点
- Mistral Large 4:52B 激活、1T 总参多模态 MoE,面向推理与长程代理任务;报告给出 FrontierCode 2.0 19.7%、Terminal-Bench 4.0 41%、Artificial Analysis Cyber Index 50.9%。
- 早期省 KV 栈(稀疏/滑动窗 + CLA + YOCO)相对全注意力约减 16× KV;常规评测尚可,但长程代理微调后偏弱。图 5:相近困惑度下 SWE-bench Verified 分化,MMLU Redux 则较紧。
- 模型手术去掉滑动窗与 CLA,全规模保留 YOCO(恢复日程不完整);再以 DSA(top-2048)控成本。NVFP4 校准量化至 606 GB,称匹配 FP8 评测,可在 4×GB300 上服务。
代理编码与网络安全任务要求模型在长上下文里保持远程依赖,而服务端 KV 成本逼着架构师堆叠记忆节省技巧。Mistral Large 4 的报告把故事写成:先省内存,再发现「看起来不错的语言建模指标」低估了长程代理表现,然后做手术恢复长程注意力,最后用稀疏注意力把成本压回去。
可证伪读法:若独立复现中,相近困惑度/MMLU 类分数的注意力变体在 SWE-bench 类长程任务上不再系统性分化,或全规模 YOCO/DSA 消融无法支撑文中关于「代理罚分」的因果叙述,则应下调「架构选择在同等 LM loss 下显著决定长程代理能力」的权重。
[1]硬事实(alphaXiv 技术报告页 / 摘要与概述,提交 2026-11-03):
- 规模与基准:52B 激活、1T 总参多模态 MoE;报告表:FrontierCode 2.0 19.7%,Terminal-Bench 4.0 41%,Artificial Analysis Cyber Index 50.9%。
- 早期记忆栈:ragged MHLA(每四层全注意力、其余 512-token 滑动窗)+ CLA(复用前置全注意力层 KV)+ YOCO(后半全局层复用前半 KV);相对全注意力基线 KV 约减 16×;YOCO 两阶段 prefill 在 1M 上下文约 1.7× 更快。早期预训练/后训练常见评测影响可接受,后续 SFT 上长程代理偏弱。
- 图 5:预训练期 MMLU Redux 与 monorepo 困惑度跨变体较贴合;中训后 SWE-bench Verified 对验证困惑度在相近点上散开——作者称架构在相近 LM loss 下仍带来代理罚分;知识类评测未见同样缺口。
- 手术与 DSA:去掉滑动窗限制与 CLA;全规模保留 YOCO(较大测试尺度手术+中训倾向保留,但未能重跑完整 phase-2+中训日程)。DSA:索引器每查询取 top 2048 key;约 15.1B token 冻结主模型蒸馏热身,再联合稀疏训练约 198B token。稀疏阶段被表述为降长上下文注意力成本,而非相对全注意力的已证代理增益。
- 服务:校准混合精度 NVFP4 检查点 606 GB,称匹配 FP8 评测,可在 四张 GB300 上部署;优化 decode 上下文并行与 DSpark 投机解码分别在 8 并发下相对基线提升交互性约 51%/90%(服务吞吐,非生成 token 减少)。
证据强度:一手技术报告 + 具名基准分数 + 受控尺度消融与图示。19.7%/41%/50.9% 是最终模型表上分数,报告本身未把增益归因于 DSA;图 5 是注意力变体比较,显示困惑度/知识分漏掉了代理维度,而非证明注意力是唯一因果。YOCO 保留是「本模型合格选择」,作者承认全规模恢复日程受限。
钢人论证:若服务内存硬约束逼出堆叠省 KV 技巧,而常规 LM/知识指标对长程工具使用不敏感,用 SWE-bench 类任务做架构方向盘,比只盯 perplexity 更贴近产品失败模式;DSA 作为恢复全注意力后的成本回填,逻辑自洽。
[1]最强钢人:长程代理确实可能在「看起来差不多」的 loss 曲线下分化;把可执行环境合成流水线(种子→廉价检查→代理验证→难度校准)与架构手术放在同一报告里,是在承认数据与注意力同等关键。
钢人风险:消融多在有限算力尺度;全规模 YOCO 恢复日程不完整;最终分数增益未归因 DSA;合成任务流水线作者自承代理仍会犯错、部分域需事后过滤——外部复现成本高。
[1]对开源与推理服务团队,观察点是:独立注意力消融是否再现「同等困惑度、不同 SWE-bench」;NVFP4 606 GB / 4×GB300 声明在第三方负载下的匹配度;DSA indexer 热身与联合训练日程是否可公开复现。在这些齐备前,宜把报告读成架构决策日志与服务配方,而非单一排行榜结论。
[1]六个月尺度上,真正可证伪的是:长程代理评测是否成为架构默认闸门,以及稀疏注意力是否只能当效率补丁而不能替代代理测量。若第三方在公开协议上复现「loss 相近、代理分发散」与 NVFP4 服务声明,ML4 的叙事才站得住;若只剩基准表与 OG 图,它更接近发布配套说明。
【No.2】
[1]