llminfra公布推理引擎对比结果

steffi.ai 团队公布其自研 Rust 推理引擎 llminfra 与 SGLang 的对比结果：在 RTX PRO 6000（300W）上运行 Qwen 3.8 27B 时，llminfra 在 250K 上下文后续轮次的首字响应时间为 108 毫秒，SGLang 为 1440 毫秒，前者快 13.4 倍。 该团队称，在上下文常驻、仅追加工具调用结果的 Agent 循环中，响应时间由约 1.4 秒降至 100 毫秒；重负载下，32 个 Agent、32K 上下文的吞吐为 209 tok/s，对比 SGLang 的 95 tok/s，2 个 Agent、250K 上下文则为 86 tok/s，对比 28 tok/s。llminfra 仓库即将开源。

AI 根据报道生成 · 3 小时前更新