AGI Hunt· jacek2023·· 4 小时前AI 评分35
llama.cpp 新 PR 修复统一 KV cache,提升本地多 AI 智能体推理速度
llama.cpp 新 PR 修复统一 KV cache,本地多 agent 推理显著提速
AI 导读
llama.cpp 合入 PR #29510,修复 CUDA flashattnextrows 在多序列场景下统一 KV cache 的问题。该修复可改善本地并行运行多个 AI 智能体时多会话并发推理的性能,减少显存占用并提升推理速度。
来源:AGI Hunt · agihunt.info