跳到正文
热点事件持续更新

oMLX 0.8.0rc1支持分布式预填充加速

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

oMLX 发布 0.8.0rc1,新增 Prefill Accelerator,可让 NVIDIA GPU 机器、DGX Spark 或第二台 Mac 分担大模型的 Prefill 层,主 Mac 保留 KV cache 并继续解码,从而协同加速模型推理。 该功能不要求辅助 GPU 机器装下整个模型,可按实际能力加速尽可能多的层;Auto 模式会依据实测速度分配任务。连接无需 RDMA 或雷电接口,使用普通网线即可,推荐 2.5GbE,NVIDIA 端只需运行一条 Docker 命令。

AI 根据报道生成 · 43 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    oMLX 0.8.0rc1 发布 Prefill Accelerator,让 NVIDIA GPU 和 DGX Spark 为 Mac 加速

    oMLX 发布 0.8.0rc1,新增 Prefill Accelerator,可由 NVIDIA GPU 机器、DGX Spark 或第二台 Mac 分担大模型 Prefill 层,Mac 保留 KV cache 继续解码。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。