跳到正文
Hugging Face Blog·· 5 小时前AI 评分61

TorchNeuron 系统级性能分析教程:使用 AWS Trainium 定位推理耗时

Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.

AI 导读

TorchNeuron 教程演示如何使用 torch.profiler 和 Neuron Explorer 系统分析 AWS Trainium 上的推理性能。教程以 RMSNorm 的三种实现为例,对比算子耗时、CPU 时间和硬件执行链路,其中融合实现约需 376 µs 至 403 µs 设备时间,朴素实现为 2,355 µs。复现脚本提供在 torch-neuronx examples 目录中。

来源:Hugging Face Blog · huggingface.co