AGI Hunt· Dengzhe Hou·· 2 小时前AI 评分51
东北大学等机构发布 WMIP 探针,揭示 LLM 累积状态追踪对输出协议的依赖
东北大学发布 WMIP 探针:LLM 累积状态追踪能力严重依赖输出协议
AI 导读
东北大学等机构团队发布 WMIP 探针,用于测试 LLM 在不写出中间状态时追踪 3 到 100 次连续更新的能力。研究发现,模型表现严重依赖输出协议,允许写出操作步骤的现有测试可能绕过了纯状态追踪需求;论文指出 LLM 跨多次更新的累积状态追踪仍是短板,已有基准结论也受到评测协议影响。
来源:AGI Hunt · agihunt.info