跳到正文
AGI Hunt· uneatenbreakfast·· 3 小时前AI 评分48

中文 API 中转站打 5-9 折却无 prompt caching,长会话成本反增 100 倍?

中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍?

AI 导读

中文 API 中转站即使提供 5-9 折价格,多数也未打通上游 prompt caching,长上下文的输入 token 仍按全价计费。开发者应将缓存能力纳入选型比较,避免折扣被额外 token 消耗抵消。

来源:AGI Hunt · agihunt.info