AGI Hunt· ahstanin·· 4 小时前AI 评分45
steffi.ai 自研 Rust 推理引擎 llminfra 对比 SGLang 跑 Qwen:250K 上下文响应快 13.4 倍
自研 Rust 推理引擎跑 Qwen:250K 上下文响应快 13.4 倍
AI 导读
steffi.ai 团队为端侧多智能体平台自研 Rust 推理引擎 llminfra,在 RTX PRO 6000(300W)上与 SGLang 同跑 Qwen 3.8 27B:250K 上下文后续轮次 TTFT 108ms vs 1440ms,快 13.4 倍。
来源:AGI Hunt · agihunt.info