StateBench揭示长文档状态追踪架构差异

Ai2 发布 StateBench 基准，用于评测语言模型在长文档中的状态追踪能力及问题依赖链复杂度。在最难层级，采用灵活记忆更新机制的 Gated DeltaNet 可处理约 10 倍于训练长度的序列，团队还为带非负特征值的定点精度提供了新证明。

Ai2 的 StateBench 追加实验显示，Hybrid 架构与 Gated DeltaNet 在前几级状态追踪任务中接近满分，而 Transformer 随序列长度增加明显退化。团队直接在 StateBench 上训练 LLM 并用更长输入评测，以排除预训练因素影响；此前前沿模型长任务状态追踪准确率已跌至 13% 以下。

Allen AI 提出 StateBench 基准，以四级难度测试 LLM 在长文本中追踪物品易手和变量重新赋值等状态变化。难度从记住生日等固定信息的 r-trivial，递增到追踪被反复换位物品的 general finite；包括 GPT-6 Sol 与 Claude Opus 在内的前沿模型表现不佳。

AllenAI 发布 StateBench 基准，用于评测语言模型在长文档中追踪实体状态变化的能力。基准包含四个难度层级；测试显示，Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最长的 general finite 任务上准确率降至 13% 或更低，而直接训练的 Gated DeltaNet 与混合模型在部分层级上泛化更远。