AGI Hunt· catbluesgames·· 3 小时前AI 评分21
本地运行 LLM 时,Reddit 社区讨论 AVX-512 对推理速度的影响
本地跑 LLM 卡在 CPU?Reddit 讨论 AVX-512 对推理速度的影响
AI 导读
Reddit 社区讨论本地运行 LLM 时,AVX-512 能否提升 CPU 推理速度。一位用户以 13700K、128GB DDR5 和 flash attention(basalt)运行模型,仅获 120-160 tps,并怀疑部分算子落至 CPU;他在 Intel 270K+ 与支持 AVX-512、16 核的 AMD 9950X 之间寻求选择建议。
来源:AGI Hunt · agihunt.info