开源双3090八Agent稀疏注意力补丁

作者 o2beast 开源面向双 RTX 3090 的多 Agent 稀疏注意力与 KV 缓存补丁，并附基准脚本。实测在 Qwen3.8-27B W4A16、两卡各限 250W 并加载 gpu-unlock 内核模块时，8 个 Agent 各持有 25 万 token 上下文并发运行，解释类输出合计约 545 tok/s，复制密集型约 790 tok/s；250K 测试召回 31/32，追问约 5 秒启动，单长对话较稠密注意力快 15%—41%。 该方案每步仅让约 1% 的 token 参与注意力，并结合 int4 KV 缓存、前缀缓存和检查点减少重算；已知近似注意力偶尔会混淆相近的重复代码行。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。