AGI Hunt· AccBalanced·· 2 小时前AI 评分57
WEKA 开源 kvlab,实测 Agent 推理 KV 缓存卸载收益
WEKA 开源 kvlab:实测 Agent 推理 KV 缓存卸载收益
AI 导读
WEKA 发布开源工具 kvlab,可捕获并重放真实 Agent 推理流量,测量上下文超出 GPU 显存时的表现。配套演示对持续至少 24 小时的 Agent 集群 KV cache 进行时间与空间维度的 3D 可视化观测,对比显示 GPU HBM 与 WEKA AMG 结合可达到 848 tokens/s 的输出吞吐。
来源:AGI Hunt · agihunt.info