跳到正文
AGI Hunt· Longjumping-Piano550·· 4 小时前AI 评分74

LLM-as-judge 评测降本方法:用提示词缓存与决策模型级联降低 70% 成本

提示词缓存+决策模型级联,把 LLM-as-judge 评测成本砍掉 70%

AI 导读

作者基于数千次 LLM-as-judge 评测,总结出一套将整体评测成本降低约 70%、仅使 0.4% 检查结论发生变化的工程方法。具体做法包括按字节前缀匹配安排提示词与缓存点、先预热再并行检查、使用 promptcachekey 路由到热缓存,并用 sha256(model + briefing + deliverable) 隔离不同交付物的缓存。

来源:AGI Hunt · agihunt.info