跳到正文
AGI Hunt· ycombinator·· 6 小时前AI 评分58

LiteLLM SDK 推出 agent eval,一行调用对比模型与 agent harness

LiteLLM SDK 推出 agent eval:一行调用即可对比模型与 harness

AI 导读

LiteLLM 在 SDK 中新增 agent evaluations,开发者可定义带成功校验的类型化任务,并通过 `litellm.agenteval()` 比较现有 agent。记分卡会汇总通过率、成本、token 用量和耗时,配图展示了 GPT-6.2 Sol 与 Gemini 4 Hydrogen 在同一任务上的 pass、成本和耗时对比。

来源:AGI Hunt · agihunt.info