跳到正文
AIHOT·· 1 天前精选AI 评分82

SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题

AI 导读

SGLang 披露并修复了 PD 分离服务中可能被中止请求的 KVCache 写入覆盖其他请求缓存的竞态问题。Cloudflare 报告称,@cf/zai-org/glm-5.3 在 Workers AI 于 2026 年 8 月 27 日至 9 月 9 日受影响,未发现其他模型受影响。

推荐理由

文章还原了跨请求 KVCache 暴露的触发链,并给出延迟释放、准入修复与版本升级建议,便于 PD 部署者评估风险和处置。

来源:AIHOT · lmsys.org