跳到正文
热点事件持续更新

M2 Pro实测Qwen量化模型性能

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一名Reddit用户实测在16GB内存的M2 Pro Mac Mini上运行Qwen iQ3xxs量化模型,在最大128k上下文下,中位预填充速度为77 tok/s、解码速度为5.5 tok/s,速度基本不随上下文增长而下降。 测试显示该模型可用于基本聊天,也能承担大型CSV排序、低难度编程等任务,但作者认为其编程能力仅适合作为“拨号上网级”的辅助方案,同时运行会带来较重的SSD写入负载。

AI 根据报道生成 · 42 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月7日
  1. AGI Hunt
    16GB M2 Pro 运行 Qwen 量化模型:120k 上下文下仍达 5.5 tok/s

    Reddit 用户在 16GB M2 Pro Mac Mini 上运行 Qwen iQ3xxs 量化模型,测试最大 128k 上下文时的速度与输出质量。中位速度为 77 tok/s prefill、5.5 tok/s decode,速度基本不受上下文长度影响。模型可勉强用于聊天,也能充当“拨号上网级”的最后手段编程助手,但 SSD 写入负载较重。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。