跳到正文
AGI Hunt· ImmediateBig8479·· 3 小时前AI 评分62

开源工具 Giraffe 检测 LLM 服务配置变更后的负载表现

开源工具 Giraffe:检测 LLM 服务配置变更后负载是否照常扛得住

AI 导读

开发者发布开源工具 Giraffe,用于比较现有 OpenAI 兼容 LLM endpoint 变更前后的负载表现。工具会对照保存的基线,检查响应时间、流式输出卡顿、答案正确性、结构化 JSON、tool-call 行为及长 prompt 下的短请求表现,并提供 CLI 和本地浏览器 UI。

来源:AGI Hunt · agihunt.info