跳到正文
AGI Hunt· BanghuaZ·· 3 小时前AI 评分57

SGLang 发布 Unified Memory 机制,统一管理混合模型显存状态

SGLang 发布 Unified Memory,解决混合模型显存难题

AI 导读

LMSYS 的 SGLang 团队发布 Unified Memory 机制,通过 `--enable-unified-memory` 让全注意力 KV、滑窗 KV 和循环状态共享 GPU 内存池。团队为此重写了整套内存系统,用户无需再手动调整显存分区参数。

来源:AGI Hunt · agihunt.info