AGI Hunt· pcuenq·· 1 小时前AI 评分71
oMLX 0.8.0rc1 发布 Prefill Accelerator,让 NVIDIA GPU 和 DGX Spark 为 Mac 加速
oMLX 0.8 让 NVIDIA GPU/DGX Spark 给 Mac 当 Prefill 加速器,提速最高 5.3 倍
AI 导读
oMLX 发布 0.8.0rc1,新增 Prefill Accelerator,可由 NVIDIA GPU 机器、DGX Spark 或第二台 Mac 分担大模型 Prefill 层,Mac 保留 KV cache 继续解码。
来源:AGI Hunt · agihunt.info