AGI Hunt· jacek2023·· 2 小时前AI 评分41
llama.cpp 新 PR 优化 Gemma 4 多槽位提示处理,速度最高提升至 3 倍
llama.cpp 新 PR:Gemma 4 多槽位提示处理提速至 3 倍
AI 导读
llama.cpp PR #32342 优化 Gemma 4 E2B/E4B 的多序列查询,在多个并行 slot 场景下,提示处理速度最高可提升至原来的 3 倍。该优化可为本地并行运行多路推理或批处理的部署者带来直接的吞吐收益。
来源:AGI Hunt · agihunt.info