北航、人大等联合发布RealCLI基准

北航、人大与IQuest Research联合发布RealCLI基准，用于评估CLI Agent执行命令行任务及与人协作的质量，结果以五维框架、22个子维度和51个交互场景模板进行衡量。 REALCLI-EXEC面向信息完整时的一次性任务执行；REALCLI-COLLAB通过脚本化用户在执行过程中逐步提供信息、纠错、修改约束并作出授权决策，考察Agent处理动态协作需求的能力。相关代码和数据已发布至GitHub和Hugging Face。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。