AGI Hunt· Ne00n·· 3 小时前AI 评分37
31美元/月租用四通道 EPYC + 128GB,CPU 跑大语言模型稳定支持 128k 上下文
31美元/月租四通道EPYC+128GB:CPU跑LLM稳定128k上下文
AI 导读
一名用户以每月31美元租用 EPYC 7351P + 128GB DDR4 四通道服务器,用 CPU 运行 Qwen 3.8 Flash Next 3bit Unsloth 量化版。该配置可生成 3.6-3.8 token/s,推理速度不随上下文长度变化,稳定支撑 128k 上下文。用户正用其开发游戏,下一步计划尝试 4bit 量化。
来源:AGI Hunt · agihunt.info