跳到正文
AGI Hunt· bariskasikci·· 1 小时前AI 评分63

开源 prefill 引擎 SSEngine-GLM5.3-Flash 实测:吞吐达 vLLM 3.2 倍

开源prefill引擎实测:GLM-5.3-Flash达vLLM 3.2倍吞吐

AI 导读

bariskasikci 转述 Kan Zhu 的实测结果:开源 prefill 引擎 SSEngine-GLM5.3-Flash 在 4 张 B200 GPU 上针对 GLM-5.3-Flash 的 coding agent 服务场景,吞吐分别达到其测试过的所有 vLLM 和 SGLang 配置的 3.1 倍与 3.2 倍。

来源:AGI Hunt · agihunt.info