AGI Hunt· PyTorch·· 3 小时前AI 评分30
KVCache Meetup Korea 深挖 LLM 推理栈:CXL 内存池化与批调度实践
KVCache Meetup Korea 深挖 LLM 推理栈:CXL 内存池化与批调度实践
AI 导读
PyTorch 官方回顾 KVCache Meetup Korea,聚焦 LLM serving 的架构权衡,覆盖基于 Maru 的 CXL 内存池化、prefill 与 decode 阶段 GPU 算力及 HBM 带宽 roofline 分析,以及 RNGD 上的批调度。
来源:AGI Hunt · agihunt.info