AGI Hunt· makkalot·· 3 小时前AI 评分26
3090+64GB 内存运行 QFN 量化模型达 70-80 t/s，作者考虑购买 3000-3500 欧元 AMD Strix Halo 迷你主机
3090+64G 内存跑 QFN 量化达 70-80 t/s,作者求购 3-3.5k 欧元 Strix Halo 建议
AI 导读
Reddit 用户分享在 3090 显卡加 64GB 内存配置上运行 Strata/QFN（iq3xss）量化模型的速度，达到 70-80 tokens/s。由于显存和内存被占满，作者考虑购买约 3000-3500 欧元的 AMD Strix Halo 专用推理机，并寻求其他用户分享实际速度。
来源：AGI Hunt · agihunt.info