AGI Hunt· cneuralnetwork·· 3 小时前AI 评分49
PyTorch 2.8.0(MPS)实测:批量从 1 增至 64,吞吐提升约 50 倍、延迟仅增加 24%
PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24%
AI 导读
PyTorch 2.8.0 在 MPS 设备上的小神经网络基准测试显示,batch size 从 1 增至 64 时,吞吐从 13,178 req/s 升至 680,811 req/s,单批延迟从 0.076ms 增至 0.094ms。大批量能提高 GPU 并行算力利用率,主要改善整体吞吐,而非单个请求的延迟。
来源:AGI Hunt · agihunt.info