AGI Hunt· Relative-Ant-9249·· 3 小时前AI 评分47
QEngine 1.3.1 在双 5090 上运行 Qwen3.8-Flash-Next,解码速度达 504 tok/s
QEngine 1.3.1 双 5090 跑 Qwen3.8-Flash-Next 解码 504 tok/s
AI 导读
QEngine 1.3.1 在 2x RTX 5090 上运行 Qwen3.8-Flash-Next,INT4 AutoRound 单流解码速度为 370/439 tok/s,KV-in-RAM 模式达 406/504 tok/s。该速度约为 Strata 的 1.4-1.9 倍、调优后 vLLM 的 3 倍,但专家缓存对重复 prompt 有利,真实混合流量约为 300-400 tok/s。
来源:AGI Hunt · agihunt.info