AGI Hunt· anbarth·· 1 小时前AI 评分46
vLLM v0.33.0 如何用 swizzling 化解 GPU 共享内存 bank 冲突
vLLM 用 swizzling 化解 GPU 共享内存 bank 冲突
AI 导读
vLLM v0.33.0 通过 swizzling 故意打乱数据布局,以一行 XOR 操作消除 MoE 内核中的共享内存 bank conflict。GPU 共享内存分为 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当同一 warp 的 32 个线程访问同一 bank 时,读取速度最差可慢 32 倍。
来源:AGI Hunt · agihunt.info