上海交大团队发布记忆系统基准HABIT-Bench
热点事件持续更新
上海交大团队发布记忆系统基准HABIT-Bench
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
上海交大 LUMIA Lab 等团队发布 HABIT-Bench 基准，用于评测 LLM 智能体的记忆系统能否从稀疏对话中归纳出隐含的用户习惯，并在后续交互中正确应用。团队以 Qwen3-235B-A22B 和 GLM-5.3-Flash 为底座测试了 8 种记忆方法，最好方法的四领域宏平均准确率仅为 33.61%，随机基线为 25%；即使直接提供标注证据，各方法表现仍有限。代码与数据集已开源。 这一结果表明，当前记忆系统在“记住并用对用户偏好”这类任务上的能力普遍偏弱，离可用水平还有明显差距，也给后续研究提供了统一的横向比较标准。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 11:17
HABIT-Bench：评测八种记忆系统的用户习惯推断能力，最佳准确率仅 33.61%报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntHABIT-Bench：评测八种记忆系统的用户习惯推断能力，最佳准确率仅 33.61%
上海交大 LUMIA Lab 等发布 HABIT-Bench，评测 LLM 智能体记忆系统从稀疏对话中归纳并应用用户习惯的能力。团队使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 测试 8 种记忆方法，最佳方法的四领域宏平均准确率仅为 33.61%，随机基线为 25%。代码与数据集已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。