AGI Hunt· SJTU·· 2 小时前AI 评分49
HABIT-Bench:评测八种记忆系统的用户习惯推断能力,最佳准确率仅 33.61%
HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61%
AI 导读
上海交大 LUMIA Lab 等发布 HABIT-Bench,评测 LLM 智能体记忆系统从稀疏对话中归纳并应用用户习惯的能力。团队使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 测试 8 种记忆方法,最佳方法的四领域宏平均准确率仅为 33.61%,随机基线为 25%。代码与数据集已开源。
来源:AGI Hunt · agihunt.info