跳到正文
AGI Hunt· ILoveDangerousStuff2·· 3 小时前AI 评分36

8 张 P100 跑 Qwen3.8 Flash Q4:并发槽位数不同,吞吐量剧烈波动

AI 导读

8 张 P100 PCIe 在自编译 llama.cpp 上运行 Unsloth 版 Qwen 3.8 Flash Next Q4 时,吞吐量随并发槽位数剧烈波动。16 槽位下在 11 并发时达到约 80 tps 峰值,最佳结果为 20 槽位、13 并发时约 91 tps,但前后区间仅约 30 tps。

来源:AGI Hunt · agihunt.info