跳到正文
AGI Hunt· PyTorch·· 3 小时前AI 评分59

PyTorch 优化 MoE 性能:分组执行减少内核启动开销

AI 导读

PyTorch 介绍通过分组执行优化 MoE 算子性能的方法,将各专家矩阵的工作合并提交。该方案保留各专家矩阵,同时减少内核启动与调度开销,Hugging Face 基线实现则以 Python 循环逐个触发专家内核。

来源:AGI Hunt · agihunt.info