Anthropic Prompt Caching 为何只有 5 分钟和 1 小时：GPU 与 CPU 存储成本账

AGI Hunt 分析了 Anthropic Prompt Caching 仅设 5 分钟和 1 小时两档的原因，认为选项对应 GPU 显存与 CPU 内存的缓存成本。以 100K token 的 Llama 3.3 70B 缓存为例，重读一次约 $0.05、占用约 55 秒 H100 时间；缓存持有成本在 GPU 显存约 4.5 分钟、CPU 内存约 1.6 小时、SSD 约 2.2 天打平。