跳到正文
热点事件持续更新

OmniMemEval排行榜可比性受质疑

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一名研究者质疑MemTensor旗下AI记忆系统基准OmniMemEval排行榜的可比性,认为题量、模型、记忆调用、检索配置及时间变化提取指令等条件不一致,可能实质改变排名,但并未指控造假。 OmniMemEval运行记录显示,BEAM在检查失败案例后调整时间上下文排序,分数由70.28升至72.52,且该调整并非独立测试;研究者据此认为,在报告所用基准上直接调参存在过拟合问题,主张各系统可按自身架构运行,但应获得等价输入并遵循明确约束。

AI 根据报道生成 · 53 分钟前更新

最新进展11月17日 20:23
OmniMemEval 排行榜可比性遭质疑

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    OmniMemEval 排行榜可比性遭质疑

    一位研究者质疑 AI 记忆系统基准 OmniMemEval 排行榜的可比性,认为题量、模型、记忆调用和检索配置存在差异。不同系统获得的图片字幕、日期及时间变化提取指令也不对等,且 BEAM 的 run notes 显示分数从 70.28 调至 72.52 后并非独立测试。作者不指控造假,但指出摄入、检索、提示词和模型选择等自由度可能实质改变排名。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。