跳到正文
AGI Hunt· minnesotanlp·· 2 小时前AI 评分47

Kolab 基准:真人屏幕录像揭示 AI Agent 高估自身协作质量

AI 导读

明尼苏达大学团队在 Hugging Face 发布 Kolab,以职业人士的真实屏幕录像评测人机 Agent 在长时程工作流中的协作。前沿多模态 LLM Agent 系统性高估协作质量,无法准确预测专家是否采纳其贡献;数据集提供 Agent Contribution、Collaboration Satisfaction、Workflow Outcome 三类指标及协作突发度度量。

来源:AGI Hunt · agihunt.info