跳到正文
热点事件持续更新

Ne00n分享31美元CPU长上下文推理方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

用户 Ne00n 分享了一套低价 CPU 大模型推理方案:以每月31美元租用法国某托管公司的 EPYC 7351P 四通道服务器,并配备128GB DDR4内存,可用CPU运行Qwen 3.8 Flash Next 3bit Unsloth量化版。 据其测试,生成速度为3.6—3.8 token/s,且不随上下文长度增加而下降,可稳定支持128k上下文。他正用该配置开发游戏,下一步计划尝试4bit量化,并估计5bit版本无法装入内存。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    31美元/月租用四通道 EPYC + 128GB,CPU 跑大语言模型稳定支持 128k 上下文

    一名用户以每月31美元租用 EPYC 7351P + 128GB DDR4 四通道服务器,用 CPU 运行 Qwen 3.8 Flash Next 3bit Unsloth 量化版。该配置可生成 3.6-3.8 token/s,推理速度不随上下文长度变化,稳定支撑 128k 上下文。用户正用其开发游戏,下一步计划尝试 4bit 量化。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。