跳到正文
热点事件持续更新

M5 Mac Studio本地跑DeepSeek量化模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 rez0 实测显示,在配备 256GB 内存的 M5 Mac Studio 上,借助 MLX Serve 运行 DeepSeek-V4.1-Flash 的 3.0bpw iQ 量化版本,本地解码速度达到约 100 tok/s,模型准确率为 93%。 此次结果适用于该高端 Mac 配置、运行框架和低比特量化方案,表明大模型本地部署在速度和准确率之间取得了较好平衡。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. AGI Hunt
    256GB M5 Mac Studio 本地运行 DeepSeek-V4.1-Flash 量化版解码达百速

    开发者 rez0 借助 MLX Serve,在配备 256GB 内存的 M5 Mac Studio 上运行 DeepSeek-V4.1-Flash 的 3.0bpw iQ 量化版本,本地解码速度达到约 100 tok/s,模型准确率保持在 93%。测试显示高端 Mac 硬件结合低比特量化方案可支持大模型本地部署。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。