AGI Hunt· Scobleizer·· 1 小时前AI 评分30
Qwen3.8-Flash NVFP4 量化版在 V100 上实测:prefill 速度快得惊人
NVFP4 量化版 Qwen3.8-Flash 在 V100 上实测:prefill 快得惊人
AI 导读
开发者 @unbug 实测 Qwen3.8-Flash 的 NVFP4 量化版本,在 V100 上搭配 Strata 推理框架实现快速 prefill,输出细节一致性与连贯性更好。其与 FP4-local、NVFP4 及 NVFP4+Q8 混合量化(GPTQ)配合效果更佳,3K token 的 prefill 表现突出,但仍需真实工作负载验证。
来源:AGI Hunt · agihunt.info