逐内核分析揭示JAX与PyTorch性能差异

在相同估计器、配方、任务划分和集合通信条件下，benchmark 维护者将 RobertTLange 的方案原样移植到 PyTorch 后，整项测试用时从 JAX 的 6.8–7.6 秒降至 6.35 秒，后续新条目因此要求使用 PyTorch。 RobertTLange 的逐内核 profiling 显示，两者 GPU 层面的程序基本相同，典型单次更新分别约 6.49 毫秒和接近持平，说明总耗时差异主要来自框架层开销分布，而非单次更新内核本身。此前，他使用 JAX 与 Pallas 内核在 Noise benchmark 零阶赛道上创下 8×H100、975 次更新且验证损失低于 4.2 的纪录。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。