跳到正文
Hugging Face Blog·· 3 小时前AI 评分62

StateBench:评测语言模型在长文档中追踪状态变化的能力

StateBench: Testing how language models track state changes over long documents

AI 导读

AllenAI 发布 StateBench 基准,用于评测语言模型在长文档中追踪实体状态变化的能力。基准包含四个难度层级;测试显示,Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最长的 general finite 任务上准确率降至 13% 或更低,而直接训练的 Gated DeltaNet 与混合模型在部分层级上泛化更远。

来源:Hugging Face Blog · huggingface.co