AGI Hunt· heghbalz·· 3 小时前AI 评分45
FlashState 让 KV-cache 块边界感知 Agent 轮次,吞吐最高提升 3 倍
让 KV-cache 块边界感知 Agent 轮次,吞吐最高提升 3 倍
AI 导读
FlashState 让 KV-cache 块边界感知 Agent 轮次,避免丢弃块中 token,提升推理吞吐。基准对比显示,GLM-5.3-Flash NVFP4 的 Decode TPM/GPU 提升 3.02 倍、TTFT p90 降 88%,Nemotron 3 Super 与 Qwen3.8-Flash-Next 的 Decode 分别提升 2.32 倍和 1.54 倍。
来源:AGI Hunt · agihunt.info