AGI Hunt· Redo·· 3 小时前AI 评分47
纯软件优化让 Qwen3.8-27B 在单卡 RTX 3090 上提速 4.6 倍
纯软件优化 4.6 倍:Qwen3.8-27B 单卡 3090 跑出 381 tok/s
AI 导读
开发者报告称,Qwen3.8-27B 在单张 RTX 3090(24GB)上的推理速度由 82 tokens/sec 提升至 381 tokens/sec。优化依次采用 MTP 多 token 预测投机解码、DFlash2 + context lookup 和优化 lookup verification,全部提升来自推理软件栈。
来源:AGI Hunt · agihunt.info