跳到正文
热点事件持续更新

开源智能体行为基线评测工具

1 篇报道1 个报道来源51 分钟前更新

先了解这件事

AI 综述

GitHub 用户 cengcengcai-creator 开源 agent-behavior-baseline,用固定评测套件、追踪表、真实任务、记忆检索基线和遵循性评测,判断智能体在变更后行为是否改善。 该工具要求检查项 ID 固定、基线冻结,并以命中数除以基数报告结果;仅依赖 Python 标准库,采用 MIT 许可证。项目明确不用于模型横向对比,也不能证明智能体的安全性,样本少于 10 个时仅视为个案。

AI 根据报道生成 · 36 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月7日
  1. GitHub 新星仓库
    agent-behavior-baseline:用数据评估智能体行为是否变好

    agent-behavior-baseline 是一套判断智能体在变更后是否真正变好的 AgentSkill,包含追踪表、固定评测套件、真实任务、记忆检索基线和遵循性评测。它区分环境冒烟测试与模型行为质量,要求检查项 ID 固定、基线冻结,并以命中数除以基数报告结果。它仅依赖 Python 标准库,采用 MIT 许可证,明确不做模型横向对比,也不以评测结果证明安全性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。