MMGR评测生成模型真实推理能力
热点事件持续更新
MMGR评测生成模型真实推理能力
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
MMGR研究团队提出多模态生成模型推理基准，并报告图像与视频模型在10个任务、1835个样本上的表现：视频模型解迷宫成功率约3%、数独约0%，物理常识总体不足4%，说明画面质量较高并不意味着推理正确。 基准覆盖抽象推理、具身导航和物理常识，要求中间帧构成有效推理步骤。团队称，过程成功率37.14%低于终态成功率65.17%，显示部分模型可能生成看似合理的结果，却未完成完整推理链条。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 02:36
MMGR 基准评测：视频模型解迷宫成功率仅 3%，视觉好不等于会推理报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI HuntMMGR 基准评测：视频模型解迷宫成功率仅 3%，视觉好不等于会推理
MMGR 基准提出统一评测框架，以图像与视频生成模型为对象，检验其是否真正具备推理能力。10 个任务、1835 个样本显示，顶级视频模型在 Maze 上成功率仅约 3%，Sudoku 约 0%，物理常识总体不到 4%。过程成功率 37.14% 低于终态 65.17%，表明视觉质量与推理正确性明显脱节。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。