AGI Hunt· xiaosun86·· 1 小时前AI 评分44
LMSYS 发布 XM-Sparse：KV 卸载解码提速，每 token 时间最多降低 63.6%
LMSYS XM-Sparse：KV 卸载解码提速，每 token 时间最多降 63.6%
AI 导读
LMSYS 发布 XM-Sparse，结合 SGLang HiSparse 稀疏注意力与 Netpreme 的 X-Mem 内存系统，直接取回卸载至主机 DRAM 的 KV。
来源：AGI Hunt · agihunt.info