RTX 5090运行33B量化模型估算86 tokens/s
热点事件持续更新
RTX 5090运行33B量化模型估算86 tokens/s
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
基于 RTX 5090 运行约 21 GB 的 33B Q4 量化模型，报道估算其理论最高速度约为 86 tokens/s；该结果未计入上下文长度对速度的影响，并非实际跑分。 报告据此认为，本地大模型推理速度主要受显存带宽而非 TFLOPS 限制，因此在选择显卡时，应重点关注内存带宽。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 04:58
RTX 5090 跑 33B Q4 模型约 86 tokens/s：本地部署应关注显存带宽报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntRTX 5090 跑 33B Q4 模型约 86 tokens/s：本地部署应关注显存带宽
RTX 5090 运行约 21 GB 的 33B Q4 量化模型，理论最高速度约为 86 tokens/s，该估算未计上下文影响。作者据此指出，本地大模型推理速度主要受显存带宽而非 TFLOPS 限制，选卡时应重点关注内存带宽。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。