AGI Hunt· SocietyTomorrow·· 1 小时前AI 评分46
16GB M2 Pro 运行 Qwen 量化模型:120k 上下文下仍达 5.5 tok/s
16GB M2 Pro 跑 Qwen 量化版:120k 上下文仍有 5.5 tok/s
AI 导读
Reddit 用户在 16GB M2 Pro Mac Mini 上运行 Qwen iQ3xxs 量化模型,测试最大 128k 上下文时的速度与输出质量。中位速度为 77 tok/s prefill、5.5 tok/s decode,速度基本不受上下文长度影响。模型可勉强用于聊天,也能充当“拨号上网级”的最后手段编程助手,但 SSD 写入负载较重。
来源:AGI Hunt · agihunt.info