AGI Hunt· AIFlow_ML·· 3 小时前AI 评分56
RTX 5090 跑 33B Q4 模型约 86 tokens/s:本地部署应关注显存带宽
RTX 5090 跑 33B Q4 模型约 86 tokens/s:买显存带宽别买 TFLOPS
AI 导读
RTX 5090 运行约 21 GB 的 33B Q4 量化模型,理论最高速度约为 86 tokens/s,该估算未计上下文影响。作者据此指出,本地大模型推理速度主要受显存带宽而非 TFLOPS 限制,选卡时应重点关注内存带宽。
来源:AGI Hunt · agihunt.info