跳到正文
AGI Hunt· Reasonable_Royal_621·· 5 小时前AI 评分58

CacheVerifier 实测:成本优化阈值后 LLM 裁判零调用最省钱

实测打脸:调好阈值后 LLM 裁判升级机制零调用最省钱

AI 导读

CacheVerifier 团队在 3 个公开 benchmark 上重放语义缓存方案,发现按调用成本优化阈值后,多数场景的最优 LLM 裁判升级率为 0%。当裁判调用成本为缓存 miss 的 0.7 倍时,所有数据集都不会触发升级;裁判拒绝了约 60% 被 benchmark 标为正常的命中,但测试仅覆盖分数距离,未测试 ensemble。

来源:AGI Hunt · agihunt.info