跳到正文
AGI Hunt· anbarth·· 59 分钟前AI 评分48

如何用 Nsight Compute 定位 GPU kernel 的 bank 冲突

AI 导读

Antje Barth 给出排查共享内存 bank 冲突的方法:开启 NVIDIA Nsight Compute 的 source counters,对内核或推理引擎进行 profiling。其 Source 页面会显示每条指令的 wavefronts、理想次数与超额部分,任一共享内存读取出现超额 pass 即表明存在 bank 冲突。该方法反映单次读取效率,不等同于端到端 tokens/s。

来源:AGI Hunt · agihunt.info