跳到正文
AGI Hunt· gleech·· 1 小时前AI 评分61

Epoch AI 评审 OSWorld:任务简单且不稳定,GUI 能力难测准

Epoch AI 剖析 OSWorld:任务简单、不稳定,GUI 能力测不准

AI 导读

Epoch AI 发布对计算机使用基准 OSWorld 的评审,指出其难以准确衡量模型的 GUI 操作能力。361 个任务整体偏简单,且约 15% 只需终端、另有 30% 可绕过 GUI;约 10% 的指令仍在持续修改,另有约 10% 任务依赖实时互联网数据,跨时间对比和外部效度因此受到影响。

来源:AGI Hunt · agihunt.info