3090加64GB内存量化推理达70至80 tokens/s

Reddit 用户 makkalot 称，其在 RTX 3090 显卡加 64GB 内存的配置上运行 Strata/QFN（iq3xss）量化模型，推理速度达到 70–80 tokens/s，已作为日常主力使用；该速度为个人分享，尚无独立验证。 由于显存和内存均被占满，这套设备无法同时承担其他任务。makkalot 因此考虑购买欧盟市场售价约 3000–3500 欧元的 AMD Strix Halo 迷你主机，并向同配置用户征集 QFN 量化实际速度，以判断 70–80 tokens/s 是否符合预期。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。