跳到正文
热点事件持续更新

vLLM v0.33.0 用 swizzling 消除 MoE 内核冲突

1 篇报道1 个报道来源44 分钟前更新

先了解这件事

AI 综述

vLLM v0.33.0 通过 swizzling 重新排列共享内存中的数据,并用一行 XOR 操作计算地址,从而消除 MoE 内核中的共享内存 bank conflict。GPU 共享内存有 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当同一 warp 的 32 个线程同时访问同一 bank 时,读取速度最差可能慢 32 倍。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    vLLM v0.33.0 如何用 swizzling 化解 GPU 共享内存 bank 冲突

    vLLM v0.33.0 通过 swizzling 故意打乱数据布局,以一行 XOR 操作消除 MoE 内核中的共享内存 bank conflict。GPU 共享内存分为 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当同一 warp 的 32 个线程访问同一 bank 时,读取速度最差可慢 32 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。