AGI Hunt· charles_irl·· 3 小时前AI 评分46
SGLang 用单个 Python dict 替换共享显存记账,多模态推理性能提升超 10%
SGLang仅用一 dict 替换共享显存记账,多模态推理提升10%+
AI 导读
Modal 博客案例显示,SGLang 通过用一次 Python 缓存查找替代共享 GPU 内存的昂贵 bookkeeping,使多模态负载的吞吐与延迟均提升超过 10%,相关改动已合入 SGLang v0.5.10。案例以 py-spy 火焰图定位瓶颈,其中 newsharedcuda 占 3.43%,强调先通过 CPU、内存、磁盘和网络 profile 找出最大瓶颈再优化。
来源:AGI Hunt · agihunt.info