AGI Hunt· gleech·· 1 小时前AI 评分61
Epoch AI 评审 OSWorld:任务简单且不稳定,GUI 能力难测准
Epoch AI 剖析 OSWorld:任务简单、不稳定,GUI 能力测不准
AI 导读
Epoch AI 发布对计算机使用基准 OSWorld 的评审,指出其难以准确衡量模型的 GUI 操作能力。361 个任务整体偏简单,且约 15% 只需终端、另有 30% 可绕过 GUI;约 10% 的指令仍在持续修改,另有约 10% 任务依赖实时互联网数据,跨时间对比和外部效度因此受到影响。
来源:AGI Hunt · agihunt.info