跳到正文
热点事件持续更新

Torch Compile优化后接近Megakernel性能

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Dylan Lim称,在 Llama 1B、H100、batch size 1 的测试中,将 Torch Compile 与默认 Inductor kernel、CUDA Graphs及细粒度 PDL 结合使用,推理性能可达到此前 Llama 1B megakernel 的98%。 他指出,编译器启发式未必能稳定选择最优实现,单独测试 kernel 也不能反映端到端速度,过度严格的规则反而可能浪费性能;该结论目前仅对应上述测试配置。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    Torch Compile 性能被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98%

    Torch Compile 配合默认 Inductor kernel、CUDA Graphs 与细粒度 PDL,在 Llama 1B / H100、batch size 1 测试中达到此前 Llama 1B megakernel 98% 的性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。