GPU kernel 原理与优化路径：torch.compile 融合算子 vs 手写定制 kernel

GPU 性能优化的两条主要路径是使用 torch.compile 融合算子，或针对特定工作负载手写定制 kernel，以减少 kernel 启动空隙并提升 GPU 利用率。profile 模型时会看到连续 kernel 启动，GPU 在两次启动之间可能空转等待。torch.compile 能融合多个操作、降低开销，而手写定制 kernel 更灵活但成本更高。