Liquid Inference披露推理平台日处理百亿Token
热点事件持续更新
Liquid Inference披露推理平台日处理百亿Token
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Liquid Inference称，其推理平台日均服务100亿个token，周增速为200%，流量主要来自智能体和长对话场景；平台通过按预期实际费用对供应商报价排序，并将请求优先路由至仍保留前缀缓存的供应商来降低成本。 在47万次计费任务中，88.7%的输入token通过缓存读取完成；这部分读取可按低于正常输入价的缓存读费率计费。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 07:30
Liquid Inference 推理平台以缓存感知的报价排序提升路由效率报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntLiquid Inference 推理平台以缓存感知的报价排序提升路由效率
Liquid Inference 推理平台日均服务 100 亿 token，周增速为 200%，其路由算法按预期实际费用对报价排序。在 47 万次计费任务中，88.7% 的输入 token 通过缓存读取，以减少多轮对话和 agent 场景中的重复 prefill。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。