VideoMemBench发布揭示视频对话记忆短板
热点事件持续更新
VideoMemBench发布揭示视频对话记忆短板
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
悉尼科技大学、港中文、港科大与浙大研究者联合发布VideoMemBench,用于评测多模态大模型在围绕同一视频的多轮对话中记住并使用前文信息的能力。基准收录326段视频和2476轮问答,其中1387轮依赖前文;结果显示,Claude Opus 5以45.7分居首,Gemini 3.8 Flash得42.4分。 随着依赖距离从1轮增至5轮以上,平均准确率由30.2%降至23.1%,最佳模型的答案依赖得分仅为35.7%,显示现有模型在长对话记忆上仍有明显局限。
AI 根据报道生成 · 41 分钟前更新
最新进展11月21日 17:50
VideoMemBench 揭示短视频对话记忆短板:Claude Opus 5 登顶也仅 45.7 分报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntVideoMemBench 揭示短视频对话记忆短板:Claude Opus 5 登顶也仅 45.7 分
VideoMemBench 对多模态大模型的短视频多轮对话记忆能力进行评测,Claude Opus 5 以 45.7 分居首。该基准收录 326 段视频和 2,476 轮问答,其中 1,387 轮依赖前文,并采用链式计分;Gemini 3.8 Flash 得分 42.4。依赖距离从 1 轮增至 5 轮以上时,平均准确率由 30.2% 降至 23.1%,最佳模型的答案依赖得分也仅为 35.7%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。