跳到正文
AGI Hunt· michellechen·· 3 小时前AI 评分62

Kastan Day 上 Cloudflare 分享全舰队弹性 Mooncake KV cache 方案

Mooncake 作者日:Cloudflare 分享全舰队弹性 KV 缓存方案

AI 导读

LMSYS 转发的 Kastan Day 活动中,Mooncake 作者 Kastan Day 讲解了 Cloudflare 的方案 Every Spare Gigabyte: A Fleet-Wide Elastic Mooncake Cache。

来源:AGI Hunt · agihunt.info