跳到正文
AGI Hunt· HowDevelop·· 4 小时前AI 评分43

Nebius Token Factory 上线 Cached Tokens,命中前缀自动按缓存价计费

Nebius Token Factory 上线缓存 Token:命中前缀自动按缓存价计费

AI 导读

Nebius Token Factory 推出 Cached Tokens 功能,可自动复用近期请求中已计算的 prompt 前缀,无需设置缓存键或显式开启。Serverless 端点按未命中缓存的 input、命中缓存的 cached input 和 output 计费,响应会报告缓存 token 数;Dedicated 端点仍按 GPU 小时计费,缓存采用 best-effort 机制。

来源:AGI Hunt · agihunt.info