跳到正文
AGI Hunt· simran_s_arora·· 2 小时前AI 评分44

Torch Compile 性能被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98%

Torch Compile 被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98%

AI 导读

Torch Compile 配合默认 Inductor kernel、CUDA Graphs 与细粒度 PDL,在 Llama 1B / H100、batch size 1 测试中达到此前 Llama 1B megakernel 98% 的性能。

来源:AGI Hunt · agihunt.info