AGI Hunt· Snoo-bedooo·· 2 小时前AI 评分59
OmniMemEval 排行榜可比性遭质疑
OmniMemEval 排行榜遭质疑:条件不一致、整合随意、还在刷榜
AI 导读
一位研究者质疑 AI 记忆系统基准 OmniMemEval 排行榜的可比性,认为题量、模型、记忆调用和检索配置存在差异。不同系统获得的图片字幕、日期及时间变化提取指令也不对等,且 BEAM 的 run notes 显示分数从 70.28 调至 72.52 后并非独立测试。作者不指控造假,但指出摄入、检索、提示词和模型选择等自由度可能实质改变排名。
来源:AGI Hunt · agihunt.info