跳到正文
热点事件持续更新

Liquid Inference优化跨模型缓存路由

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Brett Harrison介绍了Liquid Inference最新优化的推理路由算法,以跨模型缓存命中率为核心选择目标;其披露数据显示,平均缓存命中率已超过90%。 具体来看,多个DeepSeek V4.1 Flash 1017供应商的缓存命中率为97%至100%,GLM 5.3 Flash为87%至96%,GPT-OSS 120B为88%。这些结果体现的是该算法在所列模型和供应商中的缓存路由表现。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月13日
  1. AGI Hunt
    Liquid Inference 优化推理路由算法,跨模型缓存命中率超过 90%

    Brett Harrison 介绍了 Liquid Inference 推理路由算法的最新优化,以缓存命中率为核心目标进行路由选择,跨模型平均命中率已超过 90%。附图数据显示,多个 DeepSeek V4.1 Flash 1017 供应商的缓存命中率为 97%-100%,GLM 5.3 Flash 为 87%-96%,GPT-OSS 120B 为 88%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。