WEKA 开源 Agent 推理缓存测试工具 kvlab
热点事件持续更新
WEKA 开源 Agent 推理缓存测试工具 kvlab
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
WEKA 发布并开源 kvlab，用于捕获、重放真实 Agent 推理流量，并测量上下文超出 GPU 显存时 KV 缓存卸载方案的表现。 配套演示对持续运行至少24小时的 Agent 集群进行时间与空间维度可视化。WEKA 称，在该演示中，GPU HBM 与 WEKA AMG 结合可实现每秒848个 token 的输出吞吐；这一数值来自其配套演示，并非适用于所有工作负载的通用结论。
AI 根据报道生成 · 1 小时前更新
最新进展11月16日 06:12
WEKA 开源 kvlab，实测 Agent 推理 KV 缓存卸载收益报道时间线
沿着报道，了解事件的不同侧面。
11月16日
- AGI HuntWEKA 开源 kvlab，实测 Agent 推理 KV 缓存卸载收益
WEKA 发布开源工具 kvlab，可捕获并重放真实 Agent 推理流量，测量上下文超出 GPU 显存时的表现。配套演示对持续至少 24 小时的 Agent 集群 KV cache 进行时间与空间维度的 3D 可视化观测，对比显示 GPU HBM 与 WEKA AMG 结合可达到 848 tokens/s 的输出吞吐。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。