oMLX 0.8.0rc1支持分布式预填充加速
热点事件持续更新
oMLX 0.8.0rc1支持分布式预填充加速
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
oMLX 发布 0.8.0rc1,新增 Prefill Accelerator,可让 NVIDIA GPU 机器、DGX Spark 或第二台 Mac 分担大模型的 Prefill 层,主 Mac 保留 KV cache 并继续解码,从而协同加速模型推理。 该功能不要求辅助 GPU 机器装下整个模型,可按实际能力加速尽可能多的层;Auto 模式会依据实测速度分配任务。连接无需 RDMA 或雷电接口,使用普通网线即可,推荐 2.5GbE,NVIDIA 端只需运行一条 Docker 命令。
AI 根据报道生成 · 43 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI HuntoMLX 0.8.0rc1 发布 Prefill Accelerator,让 NVIDIA GPU 和 DGX Spark 为 Mac 加速
oMLX 发布 0.8.0rc1,新增 Prefill Accelerator,可由 NVIDIA GPU 机器、DGX Spark 或第二台 Mac 分担大模型 Prefill 层,Mac 保留 KV cache 继续解码。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。