AGI Hunt· michellechen·· 3 小时前AI 评分62
Kastan Day 上 Cloudflare 分享全舰队弹性 Mooncake KV cache 方案
Mooncake 作者日:Cloudflare 分享全舰队弹性 KV 缓存方案
AI 导读
LMSYS 转发的 Kastan Day 活动中,Mooncake 作者 Kastan Day 讲解了 Cloudflare 的方案 Every Spare Gigabyte: A Fleet-Wide Elastic Mooncake Cache。
来源:AGI Hunt · agihunt.info