AGI Hunt· allen_ai·· 3 小时前AI 评分52
Allen AI 提出 StateBench 评测前沿 LLM 的长文本状态追踪能力
StateBench 四级难度设计:前沿 LLM 长文本状态追踪堪忧
AI 导读
Allen AI 提出 StateBench 基准,以四级难度测试 LLM 在长文本中追踪物品易手和变量重新赋值等状态变化。难度从记住生日等固定信息的 r-trivial,递增到追踪被反复换位物品的 general finite;包括 GPT-6 Sol 与 Claude Opus 在内的前沿模型表现不佳。
来源:AGI Hunt · agihunt.info