AGI Hunt· cfregly·· 7 小时前AI 评分36
嵌套 CUDA Graph 性能测量方法论:检查编译产物与 replay 活动,冷热分开测
嵌套图性能测量方法论:看编译产物与 replay 活动,冷热分开测
AI 导读
测量嵌套 CUDA Graph 优化时,应检查编译器生成的代码片段与 CUDA replay 活动,并将首次调用的冷启动耗时和重复执行的稳态耗时分开统计。实测显示,每次调用的 replay 启动从 16 次降至 2 次,depth-8 稳态中位延迟从 407.57µs 降至 89.94µs。
来源:AGI Hunt · agihunt.info