跳到正文
AGI Hunt· jacek2023·· 4 小时前AI 评分37

llama.cpp 新 PR 去掉 kq_mask 构建 QSA selection,为 Qwen Flash Next 省下数 GB 显存

llama.cpp 新 PR 去掉 kq_mask 构建 QSA 选择,为 Qwen 省下数 GB 显存

AI 导读

llama.cpp PR #30965 在 qwen4exp 分支中不使用 kq_mask 构建 QSA selection,据称可为 Qwen Flash Next 节省数 GB 显存。该 PR 由 sanmai 提交,拥有 9 条评论和 8 个 review,改动为 +28/-14、9 个 commit,目前仍在评审阶段。

来源:AGI Hunt · agihunt.info