双 3090 运行 8 个 Agent，合计吞吐量达 545 tok/s

作者在双 3090 上实现 8 个 Agent 并发运行，每个持有 25 万 token 上下文，解释类输出合计约 545 tok/s。方案采用稀疏注意力，每步仅让约 1% 的 token 参与注意力，并结合 int4 内存 KV 缓存、前缀缓存和检查点减少重算。