GitHub 新星仓库·· 20 天前精选AI 评分81
llm-cost-quality-bench 开源 LLM 成本与质量基准工具
mauroemartinez/llm-cost-quality-bench
AI 导读
GlobalAIze 开源 llm-cost-quality-bench,用 100% 合成数据比较单智能体单提示词与带验证规则的模块化智能体,并记录成本、延迟、重试和回退。该工具支持无需 API key 的离线回放,2026-10-30 的 300 条消息评测覆盖 OpenAI、Anthropic 和 DeepSeek,三家的小模型加验证规则方案成本均低于对应的大模型单提示词方案。
推荐理由
仓库提供可复用的成本、质量与验证流程,并公开了合成数据、离线回放和完整评测结果,便于迁移到其他模型组合。
来源:GitHub 新星仓库 · github.com