AGI Hunt· AWS ML Blog·· 2 小时前AI 评分69
Amazon Bedrock 开源权重模型 prompt caching 使用方法
Bedrock 开源模型支持 prompt caching,隐式与显式两模式省成本
AI 导读
AWS ML Blog 讲解了如何在 Amazon Bedrock 上为开源权重模型使用 prompt caching,降低重复长上下文的输入成本与延迟。隐式缓存会自动复用符合条件的 prompt 前缀,显式缓存则可通过 Chat Completions API 的 promptcacheoptions 和 cache 断点标记设置多个缓存断点。
来源:AGI Hunt · agihunt.info