AGI Hunt· nicolechirps·· 3 小时前AI 评分61
ValsAI 实测:缓存命中率差异使同一模型任务成本相差 2.3 倍
每 token 单价不可信:缓存命中率差异让同一模型任务成本差 2.3 倍
AI 导读
ValsAI 实测显示,同一模型任务因服务商缓存命中率不同,实际花费可相差 2.3 倍,不能仅按每 token 标价比较成本。以 Kimi K3 为例,Baseten 上的同一任务花费 12.65 美元,而最便宜的服务商只需 5.43 美元;Baseten 仅有 72% 的输入走缓存,Together AI 和 Fireworks 则达到 94%。
来源:AGI Hunt · agihunt.info