AGI Hunt· _rockt·· 4 小时前AI 评分52
Flint int4在Mac mini运行Qwen3.6-35B的实测:解码最高122.6 tok/s
Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平
AI 导读
Flint以int4在Mac mini上运行Qwen3.6-35B时,解码速度最高达到122.6 tok/s,比4bit Qwen3.6-35B-A3B快约25%–34%。在52个本地任务中,Flint与开启thinking的Qwen3.6均取得50/52,但Flint中位耗时为2.8s,Qwen为10.1s;关闭thinking后Qwen仅完成46/52,数学任务降至2/8。
来源:AGI Hunt · agihunt.info