跳到正文
AGI Hunt· ahstanin·· 4 小时前AI 评分45

steffi.ai 自研 Rust 推理引擎 llminfra 对比 SGLang 跑 Qwen:250K 上下文响应快 13.4 倍

自研 Rust 推理引擎跑 Qwen:250K 上下文响应快 13.4 倍

AI 导读

steffi.ai 团队为端侧多智能体平台自研 Rust 推理引擎 llminfra,在 RTX PRO 6000(300W)上与 SGLang 同跑 Qwen 3.8 27B:250K 上下文后续轮次 TTFT 108ms vs 1440ms,快 13.4 倍。

来源:AGI Hunt · agihunt.info