跳到正文
AGI Hunt· klasyer·· 3 小时前AI 评分47

双 RTX 3090 本地跑 Strata 实测:IQ3_S 100 tok/s vs IQ4_XS 30 tok/s 的取舍

双 3090 本地跑 Strata 实测:IQ3_S 100 tok/s vs IQ4_XS 30 tok/s 的取舍

AI 导读

Reddit 用户 klasyer 在双 RTX 3090 本地部署 Strata 的实测中,测得 Unsloth 量化 IQ3S 约 100 tok/s、IQ4XS 约 30 tok/s、Q4KXL 低于 20 tok/s。作者倾向选择 IQ4XS 以减少幻觉,并分享基于 Docker、256K 上下文、双卡及 q40 KV cache 的配置。

来源:AGI Hunt · agihunt.info