CloudOpsBench 1.0揭示云运维推理瓶颈

密歇根大学Ang Chen团队发布并开源云运维智能体评测基准CloudOpsBench 1.0。该基准包含45项AWS任务，覆盖修复服务、删除资源、限制访问权限、更新和下线项目等操作；测试显示，Claude Fable 5.1求解率为60%，GPT-6 Astra为53%。 评测分析认为，约80%的失败来自任务范围判断错误、遗漏相关服务或过早停止，约20%涉及可能造成基础设施后果的错误操作。任务可在真实AWS云和模拟器中以相同方式运行，项目采用Apache 2.0许可证，团队计划扩展至GCP、Azure和OCI。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。