双3090部署Strata的量化取舍
热点事件持续更新
双3090部署Strata的量化取舍
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Reddit 用户 klasyer 实测在双 RTX 3090 上通过 Unsloth 本地运行 Strata：IQ3_S 输出速度约 100 tok/s，IQ4_XS 约 30 tok/s，Q4K_XL 低于 20 tok/s，显示更低量化速度更快。 尽管 IQ3_S 速度领先，作者仍倾向 IQ4_XS，称其有助于减少幻觉。其配置包括 Docker 容器、256K 上下文、双卡及 q40 KV cache；这些数据属于该用户特定环境下的实测结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 20:21
双 RTX 3090 本地跑 Strata 实测：IQ3_S 100 tok/s vs IQ4_XS 30 tok/s 的取舍报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI Hunt双 RTX 3090 本地跑 Strata 实测：IQ3_S 100 tok/s vs IQ4_XS 30 tok/s 的取舍
Reddit 用户 klasyer 在双 RTX 3090 本地部署 Strata 的实测中，测得 Unsloth 量化 IQ3S 约 100 tok/s、IQ4XS 约 30 tok/s、Q4KXL 低于 20 tok/s。作者倾向选择 IQ4XS 以减少幻觉，并分享基于 Docker、256K 上下文、双卡及 q40 KV cache 的配置。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。