AGI Hunt· ImmediateBig8479·· 3 小时前AI 评分62
开源工具 Giraffe 检测 LLM 服务配置变更后的负载表现
开源工具 Giraffe:检测 LLM 服务配置变更后负载是否照常扛得住
AI 导读
开发者发布开源工具 Giraffe,用于比较现有 OpenAI 兼容 LLM endpoint 变更前后的负载表现。工具会对照保存的基线,检查响应时间、流式输出卡顿、答案正确性、结构化 JSON、tool-call 行为及长 prompt 下的短请求表现,并提供 CLI 和本地浏览器 UI。
来源:AGI Hunt · agihunt.info