AGI Hunt· ILoveDangerousStuff2·· 3 小时前AI 评分36
8 张 P100 跑 Qwen3.8 Flash Q4:并发槽位数不同,吞吐量剧烈波动
AI 导读
8 张 P100 PCIe 在自编译 llama.cpp 上运行 Unsloth 版 Qwen 3.8 Flash Next Q4 时,吞吐量随并发槽位数剧烈波动。16 槽位下在 11 并发时达到约 80 tps 峰值,最佳结果为 20 槽位、13 并发时约 91 tps,但前后区间仅约 30 tps。
来源:AGI Hunt · agihunt.info