AGI Hunt· jacek2023·· 2 小时前AI 评分52
llama.cpp 合并 PR #31188，融合 MoE 矩阵乘与 GLU 提升 CUDA 吞吐
llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17%
AI 导读
llama.cpp 合并 PR #31188，在 CUDA MMQ 路径中融合 MoE 的 gate/up 矩阵乘法与 GLU 激活，以提升 prompt 处理速度。
来源：AGI Hunt · agihunt.info