Cloudflare全舰队弹性KV缓存方案

Mooncake作者Kastan Day在Kastan Day活动上讲解Cloudflare的全舰队弹性Mooncake缓存方案：将各服务器闲置的内存和SSD汇聚为共享KV cache，并随模型请求负载弹性伸缩，用于加速大语言模型推理。该内容属于方案介绍，报道未说明其已全量部署或给出实测效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。