跳到正文
AGI Hunt· zainhas·· 2 小时前AI 评分56

weilix 发布 FlashState 推理系统,GLM 5.3 Flash 延迟降低 3.7 倍

FlashState 推理系统:GLM 5.3 Flash 上吞吐翻倍,延迟降 3.7 倍

AI 导读

weilix 发布面向 agentic 工作负载的 FlashState 推理系统,可管理混合架构 LLM 的前缀缓存。在 GLM 5.3 Flash 实测中,其吞吐量相对 vLLM 提升一倍以上,延迟降低 3.7 倍,用户成本降低 2.5 倍。核心机制是针对智能体场景中反复出现的状态与前缀复用进行缓存调度。

来源:AGI Hunt · agihunt.info