跳到正文
热点事件持续更新

llm-d 案例讲解推理分离部署

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

NeuReality 在 LearnKube Day 闪电演讲中讲解了 llm-d 边缘推理的 prefill-decode 分离方案:利用两类阶段不同的资源需求,将它们部署到不同 Pod,以独立扩缩,并避免长提示词的 prefill 拖慢共享实例上的 decode。 该案例在 Kubernetes 上以 vLLM 服务 Meta Llama 3.1 70B,配置为 8 个 prefill 实例和 1 个 decode 实例,并部署在独立服务器节点,硬件采用 Qualcomm Cloud AI 100 Ultra 卡。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例

    llm-d 在 Kubernetes 上部署 Meta Llama 3.1 70B,以 prefill-decode 分离避免长 prompt 拖慢共享实例的 decode。NeuReality 案例使用 vLLM、8 个 prefill 实例和 1 个 decode 实例,部署于独立服务器节点,并采用 Qualcomm Cloud AI 100 Ultra 卡。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。