StateBench：前沿 Transformer 在硬状态追踪上仍会随长度塌掉，架构比「见没见过」更先卡脖子

Ai2 在 2026 年 11 月 3 日发布 StateBench：按 Krohn–Rhodes 理论拆成四级难度的长上下文状态追踪基准。它要回答的不是「模型能不能在长文档里找到一处事实」，而是「实体状态沿一串更新演化时，模型能不能不丢步」。

专栏命题很窄、也可错：在可解与一般有限（general finite）级别上，随输入变长，前沿 Transformer 仍会塌到接近随机；直接在任务上训练的 hybrid / Gated DeltaNet 能泛化远超训练长度——因此瓶颈首先是架构类，而不只是预训练有没有见过类似模式。

发生了什么

状态追踪覆盖从代码变量赋值到叙事里人物换手物品。StateBench 四级对应不同赋值原语：

• R-trivial：不可变赋值，只需找回初值。
• Aperiodic：按值重赋值，找最近一次即可。
• Soluble：自引用更新（如 x = x + 5），必须携带累计状态。
• General finite：按引用赋值 / 交换（如五杯换位的 S₅），漏一步答案全错。

作者从同一条一般有限序列派生出三个更易版本，保证变量数、取值集合与赋值时间点对齐，只改操作类型。公开预训练侧对比了同数据训练的 Olmo 3（Transformer）与 Olmo Hybrid（含 Gated DeltaNet），以及 275M / 2.7B 等规模；预训练上下文均未超过 64k token。前沿侧测了 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 与 Luna。

证据有多硬

预训练开源模型：多数在 r-trivial 上表现好，aperiodic 随长度掉点，general finite 贴近随机。题面格式也重要——同一 r-trivial 问题，RULER 风格接近满分，spreadsheet 编辑题面可掉到随机，这正是 StateBench 要多格式对照的原因。

前沿模型在 r-trivial / aperiodic 上仍强，但在 soluble 与 general finite 上随长度急跌；最长 general finite 上准确率可到 13% 或更低。

从零在 StateBench 上训 275M：训练最长 256 次赋值、测试到 64k 次（约 250×）。Gated DeltaNet 与 hybrid 在前三级长序列上接近完美泛化；Transformer 学得了较易级但长序列退化，始终学不会最难一级。更灵活记忆更新的 Gated DeltaNet 变体在最难级可泛化到约训练长度的 10×。

Ai2 页面同时放出 tech report、data 与 code，证据链可复核。

钢人与缺口

钢人：理论早已提示 Transformer 在硬状态追踪上的极限；StateBench 的贡献是把「难」拆成可对齐的四级，并在同预训练数据上对照 hybrid，避免把架构失败误读成数据失败。

缺口仍在：固定变量数假设与真实对话「实体不断新增」不符；有限精度下部分 Gated DeltaNet 变体在层级中的精确位置仍开放；前沿结果依赖厂商 API，污染与工具使用细节未完全外置。把「架构瓶颈」读成「所有产品任务都会立刻崩」会过度外推——许多生产查询停在 aperiodic。

谁付钱、下一步看什么

付钱的是长上下文产品（代理记忆、代码助手、多文档推理）的架构选型与评测预算：若验收只用「找最新事实」式 needle，会系统高估对 soluble / general finite 工作负载的可靠性。

六个月内值得盯：StateBench 是否进入开源模型发布卡；hybrid 层在真实预训练配方里的比例；以及动态实体引入是否进入下一版基准。

收束

StateBench 可辩护的句子是：用对齐的四级状态追踪，能把「长了就丢状态」从印象变成可复核的架构差异——直接训练下 hybrid/Gated DeltaNet 与 Transformer 的分叉，加上前沿在最难级跌到 ≤13%，撑起「不只是数据覆盖」这一半。它还不支持「Transformer 已死」或「换 recurrent 就解决产品记忆」；变量固定与开放证明问题仍在桌上。