GPU热节流导致训练异常降速
热点事件持续更新
GPU热节流导致训练异常降速
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
博主 dejanseo 分享称，其模型训练曾无明显原因地变慢，排查后发现是 GPU 过热触发热节流：温度达到 88°C，SM 时钟降至 1515 MHz，仅为最高 3105 MHz 的 49%；即使功耗为 120W、利用率达 100%，吞吐也只有 123K tokens/s，单步耗时 316ms。 dejanseo 认为，自建训练或微调环境除监控 loss 外，也应同步监控 GPU 温度与 SM 时钟，以识别这类性能异常。
AI 根据报道生成 · 1 小时前更新
最新进展10月24日 06:47
GPU 过热降频：训练莫名变慢的元凶是热力学报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntGPU 过热降频：训练莫名变慢的元凶是热力学
GPU 过热触发热节流，会让模型训练在看似正常运行时意外变慢。某次训练中 GPU 温度达到 88°C，SM 时钟被压至 1515 MHz，仅为最大 3105 MHz 的 49%；尽管功耗为 120W、利用率为 100%，吞吐仍只有 123K tokens/s，step 时间为 316ms，因此自建训练或微调环境应同步监控温度与 SM 时钟。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。