AGI Hunt· stanfordnlp·· 2 小时前AI 评分51
GPU profiling 入门路径:测量 PyTorch attention 峰值显存并完成 CS336 作业2
GPU profiling 入门路径:测 PyTorch attention 峰值显存,配 CS336 作业2 实战
AI 导读
stanfordnlp 面向初学者提供了一条 GPU 性能分析学习路径,先测量 PyTorch attention block 在不同序列长度下的耗时与峰值显存,再通过模型层练习巩固 profiling 方法。路径使用 GPU MODE Lecture 1 学习 profiling 工具,并配合斯坦福 CS336 Assignment 2 进行实践,相关仓库采用 MIT 协议。
来源:AGI Hunt · agihunt.info