跳到正文
AGI Hunt· rapPayne·· 1 小时前AI 评分20

Reddit 热议:同厂商不同 LLM 能否共享 warm cache 降低上下文成本?

Reddit 热议:同厂商不同模型能否共享 warm cache 省上下文费?

AI 导读

Reddit 用户 rapPayne 询问同一厂商家族的不同模型能否共享 warm cache,避免切换模型时每个 prompt 都重发全部上下文,并让未命中缓存的 token 按全价计费。该问题还涉及各模型 tokenizer 不同、能否统一 tokenizer 或采用共用中间层 tokenizer,目前尚无定论。

来源:AGI Hunt · agihunt.info