AGI Hunt· AccBalanced·· 2 小时前AI 评分54
Liquid Inference 优化推理路由算法,跨模型缓存命中率超过 90%
Liquid Inference 路由算法缓存命中率超 90%,DeepSeek/GLM 供应商表现最佳
AI 导读
Brett Harrison 介绍了 Liquid Inference 推理路由算法的最新优化,以缓存命中率为核心目标进行路由选择,跨模型平均命中率已超过 90%。附图数据显示,多个 DeepSeek V4.1 Flash 1017 供应商的缓存命中率为 97%-100%,GLM 5.3 Flash 为 87%-96%,GPT-OSS 120B 为 88%。
来源:AGI Hunt · agihunt.info