llama.cpp分页稀疏解码提速长上下文
热点事件持续更新
llama.cpp分页稀疏解码提速长上下文
1 篇报道1 个报道来源34 分钟前更新
先了解这件事
AI 综述
topppggg 在 llama.cpp 的 fork 中实现并测试了免训练的 page-sparse decode:将 KV cache 按 64 个 token 分页,每个 KV head 仅读取首页、最新 token 及最可能相关的页;在 128k 上下文测试中,每步解码约读取 21% 的 KV cache,开发者称解码速度提升 1.72 倍。 该优化要求 prompt 超过 32k、模型和 cache 全部位于 GPU,且目前仅支持 CUDA、batch=1;低于 32k 时反而更慢,因此默认关闭。它不改变 prefill,128k prompt 加 1024 token 生成的端到端耗时仅减少 4%–13%;也不节省显存,完整 KV cache 仍在显存中,并额外增加 3%–6% 的页统计开销。
AI 根据报道生成 · 20 分钟前更新
最新进展11月16日 22:13
llama.cpp fork 实现免训练 page-sparse decode,128k 上下文解码提速 1.72 倍报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI Huntllama.cpp fork 实现免训练 page-sparse decode,128k 上下文解码提速 1.72 倍
topppggg 在 llama.cpp fork 实现免训练 page-sparse decode,128k 上下文每步仅读取约 21% 的 KV cache。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。