决策模型推理定价暴露prefill与decode错配

决策模型市场降温后，推理服务定价中的 prefill 与 decode 成本错配受到关注。Shreya 判断，不同决策任务的工作负载差异明显，prefill 占比、前缀复用程度和智能需求并不相同；传统定价往往由 prefill 补贴 decode，导致后者成本更高、速度更慢。 目前已有服务商推出面向 prefill-only 工作负载的专用端点，以区分不同推理阶段的价格和资源需求。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。