跳到正文
AGI Hunt· tahaan·· 2 小时前AI 评分47

技能库动态进化的 Agent 如何评测?冻结技能版本成为关键

技能库动态进化的 Agent 如何做评测?版本冻结成关键

AI 导读

开发者构建后台评估回路,自动起草和修改技能,但动态变化的技能集破坏了测试 harness 的可比性。面对最多 110k tokens 的工具定义及单轮 3 到 15 分钟以上的推理耗时,其解法是在两次运行间冻结已版本化的技能,并征求社区经验。

来源:AGI Hunt · agihunt.info