跳到正文
AWS Machine Learning Blog· Dustin Liu·· 2 小时前AI 评分64

如何在 Amazon Bedrock 为开放权重模型使用提示词缓存

Use prompt caching with open-weight models on Amazon Bedrock

AI 导读

Amazon Bedrock 已支持开放权重模型使用显式提示词缓存,本文通过 Chat Completions API 演示隐式、显式缓存及 OpenCode 接入。显式模式可利用 prompt_cache_options 和 prompt_cache_breakpoint 精确控制可复用前缀,文章还介绍了如何读取缓存读写字段、配置编码智能体并通过调整内容顺序与 TTL 降低输入成本和响应延迟。

来源:AWS Machine Learning Blog · aws.amazon.com