AGI Hunt· dave-tro·· 53 分钟前AI 评分65
MoEShift 发布，24GB Mac 可通过 SSD offload 运行 125B 模型
MoEShift 让 24GB Mac 跑 125B 模型：M5 Pro 预 fill 374 tok/s
AI 导读
开发者发布面向内存受限 Apple Silicon Mac 的开源推理后端 MoEShift，可通过 SSD offload 运行 125B 模型。
来源：AGI Hunt · agihunt.info
MoEShift 发布，24GB Mac 可通过 SSD offload 运行 125B 模型