跳到正文
AGI Hunt· anbarth·· 1 小时前AI 评分46

vLLM v0.33.0 如何用 swizzling 化解 GPU 共享内存 bank 冲突

vLLM 用 swizzling 化解 GPU 共享内存 bank 冲突

AI 导读

vLLM v0.33.0 通过 swizzling 故意打乱数据布局,以一行 XOR 操作消除 MoE 内核中的共享内存 bank conflict。GPU 共享内存分为 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当同一 warp 的 32 个线程访问同一 bank 时,读取速度最差可慢 32 倍。

来源:AGI Hunt · agihunt.info