M2 Pro实测Qwen量化模型性能
热点事件持续更新
M2 Pro实测Qwen量化模型性能
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一名Reddit用户实测在16GB内存的M2 Pro Mac Mini上运行Qwen iQ3xxs量化模型,在最大128k上下文下,中位预填充速度为77 tok/s、解码速度为5.5 tok/s,速度基本不随上下文增长而下降。 测试显示该模型可用于基本聊天,也能承担大型CSV排序、低难度编程等任务,但作者认为其编程能力仅适合作为“拨号上网级”的辅助方案,同时运行会带来较重的SSD写入负载。
AI 根据报道生成 · 42 分钟前更新
最新进展11月7日 00:15
16GB M2 Pro 运行 Qwen 量化模型:120k 上下文下仍达 5.5 tok/s报道时间线
沿着报道,了解事件的不同侧面。
11月7日
- AGI Hunt16GB M2 Pro 运行 Qwen 量化模型:120k 上下文下仍达 5.5 tok/s
Reddit 用户在 16GB M2 Pro Mac Mini 上运行 Qwen iQ3xxs 量化模型,测试最大 128k 上下文时的速度与输出质量。中位速度为 77 tok/s prefill、5.5 tok/s decode,速度基本不受上下文长度影响。模型可勉强用于聊天,也能充当“拨号上网级”的最后手段编程助手,但 SSD 写入负载较重。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。