AGI Hunt· rez0__·· 3 小时前AI 评分38
256GB M5 Mac Studio 本地运行 DeepSeek-V4.1-Flash 量化版解码达百速
256GB M5 Mac Studio 本地跑 DeepSeek 量化版达百速解码
AI 导读
开发者 rez0 借助 MLX Serve，在配备 256GB 内存的 M5 Mac Studio 上运行 DeepSeek-V4.1-Flash 的 3.0bpw iQ 量化版本，本地解码速度达到约 100 tok/s，模型准确率保持在 93%。测试显示高端 Mac 硬件结合低比特量化方案可支持大模型本地部署。
来源：AGI Hunt · agihunt.info