PyTorch 推出 MoE 分组执行优化方法

PyTorch 介绍了一种面向 MoE 算子的分组执行优化方法：在保留各专家矩阵的同时，将多个专家的工作合并提交，减少内核启动和调度开销。 作为对比，Hugging Face 的基线实现通过 Python 循环逐个触发专家内核；分组执行意在降低这类执行方式带来的额外开销。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。