ValsAI实测缓存差异致模型成本相差2.3倍
热点事件持续更新
ValsAI实测缓存差异致模型成本相差2.3倍
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
ValsAI实测显示，同一模型任务的实际成本会因服务商缓存命中率不同而显著变化。测试以Kimi K3为例，Baseten处理同一任务花费12.65美元，而最便宜的服务商仅需5.43美元，相差2.3倍。Baseten仅有72%的输入走缓存，Together AI和Fireworks的缓存命中率达到94%，因此仅按每token标价比较服务商成本，可能无法反映实际支出。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 13:30
ValsAI 实测：缓存命中率差异使同一模型任务成本相差 2.3 倍报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntValsAI 实测：缓存命中率差异使同一模型任务成本相差 2.3 倍
ValsAI 实测显示，同一模型任务因服务商缓存命中率不同，实际花费可相差 2.3 倍，不能仅按每 token 标价比较成本。以 Kimi K3 为例，Baseten 上的同一任务花费 12.65 美元，而最便宜的服务商只需 5.43 美元；Baseten 仅有 72% 的输入走缓存，Together AI 和 Fireworks 则达到 94%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。