AGI Hunt· Ishannaik·· 4 小时前AI 评分65
双 T4 实测 Qwen3.8-27B:DFlash2 推理整体 55-57 tok/s,代码 154 tok/s
双 T4 跑 Qwen3.8-27B:DFlash2 推理冲到 154 tok/s
AI 导读
作者在 Kaggle 免费 2x T4 上实测 Qwen3.8-27B 推理,采用 EXL3 4.0bpw 量化、exllamav3、PCIe 张量并行与 DFlash2 block drafter,整体达到 55-57 tok/s。
来源:AGI Hunt · agihunt.info