跳到正文
热点事件持续更新

llama.cpp分页稀疏解码提速长上下文

1 篇报道1 个报道来源34 分钟前更新

先了解这件事

AI 综述

topppggg 在 llama.cpp 的 fork 中实现并测试了免训练的 page-sparse decode:将 KV cache 按 64 个 token 分页,每个 KV head 仅读取首页、最新 token 及最可能相关的页;在 128k 上下文测试中,每步解码约读取 21% 的 KV cache,开发者称解码速度提升 1.72 倍。 该优化要求 prompt 超过 32k、模型和 cache 全部位于 GPU,且目前仅支持 CUDA、batch=1;低于 32k 时反而更慢,因此默认关闭。它不改变 prefill,128k prompt 加 1024 token 生成的端到端耗时仅减少 4%–13%;也不节省显存,完整 KV cache 仍在显存中,并额外增加 3%–6% 的页统计开销。

AI 根据报道生成 · 20 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    llama.cpp fork 实现免训练 page-sparse decode,128k 上下文解码提速 1.72 倍

    topppggg 在 llama.cpp fork 实现免训练 page-sparse decode,128k 上下文每步仅读取约 21% 的 KV cache。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。