跳到正文
AGI Hunt· AIFlow_ML·· 3 小时前AI 评分56

RTX 5090 跑 33B Q4 模型约 86 tokens/s:本地部署应关注显存带宽

RTX 5090 跑 33B Q4 模型约 86 tokens/s:买显存带宽别买 TFLOPS

AI 导读

RTX 5090 运行约 21 GB 的 33B Q4 量化模型,理论最高速度约为 86 tokens/s,该估算未计上下文影响。作者据此指出,本地大模型推理速度主要受显存带宽而非 TFLOPS 限制,选卡时应重点关注内存带宽。

来源:AGI Hunt · agihunt.info