跳到正文
AGI Hunt· SocietyTomorrow·· 1 小时前AI 评分46

16GB M2 Pro 运行 Qwen 量化模型:120k 上下文下仍达 5.5 tok/s

16GB M2 Pro 跑 Qwen 量化版:120k 上下文仍有 5.5 tok/s

AI 导读

Reddit 用户在 16GB M2 Pro Mac Mini 上运行 Qwen iQ3xxs 量化模型,测试最大 128k 上下文时的速度与输出质量。中位速度为 77 tok/s prefill、5.5 tok/s decode,速度基本不受上下文长度影响。模型可勉强用于聊天,也能充当“拨号上网级”的最后手段编程助手,但 SSD 写入负载较重。

来源:AGI Hunt · agihunt.info