AGI Hunt· jacek2023·· 1 小时前AI 评分28
llama.cpp 新 PR:旋转 K/V 读取顺序提升 L2 缓存命中,长上下文显著提速
AI 导读
NVIDIA 工程师 gaugarg-nv 向 llama.cpp 提交 PR #32407,通过调整长上下文 prompt 处理中 K/V 数据的读取顺序,提高 L2 缓存命中率并据称显著加速 prompt 处理。改动仅涉及 1 个文件(+64/-16 行),已有 2 个 review,为本地推理和长上下文场景提供低层优化参考。
来源:AGI Hunt · agihunt.info