跳到正文
AGI Hunt· zhaofeng_wu·· 3 小时前AI 评分49

MMGR 基准评测:视频模型解迷宫成功率仅 3%,视觉好不等于会推理

MMGR 基准:视频模型解迷宫成功率仅 3%,视觉好不等于会推理

AI 导读

MMGR 基准提出统一评测框架,以图像与视频生成模型为对象,检验其是否真正具备推理能力。10 个任务、1835 个样本显示,顶级视频模型在 Maze 上成功率仅约 3%,Sudoku 约 0%,物理常识总体不到 4%。过程成功率 37.14% 低于终态 65.17%,表明视觉质量与推理正确性明显脱节。

来源:AGI Hunt · agihunt.info