跳到正文
AGI Hunt· _xjdr·· 3 小时前AI 评分28

megakernels 何时有用:启动配置成为瓶颈时省去冗余加载

Megakernels 何时有用:启动配置是瓶颈时省掉冗余加载

AI 导读

megakernels 在启动配置成为主要瓶颈时有助于优化推理效率。当已知要运行的模型和 batch size 时,megakernels 可省去所有多余的加载和无谓的形状转换,因此并非“不用 megakernels”才合理。

来源:AGI Hunt · agihunt.info