跳到正文
AGI Hunt· cfregly·· 7 小时前AI 评分42

嵌套 CUDA Graph 将 replay 启动次数从 16 次降至 2 次

嵌套 CUDA Graph 将 replay 启动从 16 次降至 2 次

AI 导读

实测显示,开启嵌套 CUDA Graph 后,每次被 profile 的调用中 replay 启动次数从 16 次降至 2 次。对比 depth-8、seed-0 生成的 Inductor 代码,未开启时为 16 个 wrapper 区域各含 4 个 ATen 算子,开启后合并为 2 个区域各含 32 个算子,从而减少内存碎片并扩大融合区域、降低启动开销。

来源:AGI Hunt · agihunt.info