双5090推理引擎性能对比
热点事件持续更新
双5090推理引擎性能对比
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户 Relative-Ant-9249 发布测试称，QEngine 1.3.1 在双 RTX 5090 运行 Qwen3.8-Flash-Next 时，INT4 AutoRound 单流解码为 370/439 tok/s，KV cache 放入 pinned host RAM 后为 406/504 tok/s，速度约为 Strata 的1.4至1.9倍、调优后 vLLM 的3倍。 但该用户的专家缓存对重复 prompt 有利，真实混合流量下约为300至400 tok/s。测试还显示，作者仅将 CUDA 架构参数从86改为120，便可在5090上编译 QEngine；README 原先只标注 sm86。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 09:09
QEngine 1.3.1 在双 5090 上运行 Qwen3.8-Flash-Next，解码速度达 504 tok/s报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- AGI HuntQEngine 1.3.1 在双 5090 上运行 Qwen3.8-Flash-Next，解码速度达 504 tok/s
QEngine 1.3.1 在 2x RTX 5090 上运行 Qwen3.8-Flash-Next，INT4 AutoRound 单流解码速度为 370/439 tok/s，KV-in-RAM 模式达 406/504 tok/s。该速度约为 Strata 的 1.4-1.9 倍、调优后 vLLM 的 3 倍，但专家缓存对重复 prompt 有利，真实混合流量约为 300-400 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。