vLLM v0.33.0 用 swizzling 消除 MoE 内核冲突
热点事件持续更新
vLLM v0.33.0 用 swizzling 消除 MoE 内核冲突
1 篇报道1 个报道来源44 分钟前更新
先了解这件事
AI 综述
vLLM v0.33.0 通过 swizzling 重新排列共享内存中的数据,并用一行 XOR 操作计算地址,从而消除 MoE 内核中的共享内存 bank conflict。GPU 共享内存有 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当同一 warp 的 32 个线程同时访问同一 bank 时,读取速度最差可能慢 32 倍。
AI 根据报道生成 · 14 分钟前更新
最新进展11月16日 11:09
vLLM v0.33.0 如何用 swizzling 化解 GPU 共享内存 bank 冲突报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI HuntvLLM v0.33.0 如何用 swizzling 化解 GPU 共享内存 bank 冲突
vLLM v0.33.0 通过 swizzling 故意打乱数据布局,以一行 XOR 操作消除 MoE 内核中的共享内存 bank conflict。GPU 共享内存分为 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当同一 warp 的 32 个线程访问同一 bank 时,读取速度最差可慢 32 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。