AGI Hunt· rapPayne·· 1 小时前AI 评分20
Reddit 热议:同厂商不同 LLM 能否共享 warm cache 降低上下文成本?
Reddit 热议:同厂商不同模型能否共享 warm cache 省上下文费?
AI 导读
Reddit 用户 rapPayne 询问同一厂商家族的不同模型能否共享 warm cache,避免切换模型时每个 prompt 都重发全部上下文,并让未命中缓存的 token 按全价计费。该问题还涉及各模型 tokenizer 不同、能否统一 tokenizer 或采用共用中间层 tokenizer,目前尚无定论。
来源:AGI Hunt · agihunt.info