AGI Hunt· HowDevelop·· 2 小时前AI 评分50
llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例
AI 导读
llm-d 在 Kubernetes 上部署 Meta Llama 3.1 70B,以 prefill-decode 分离避免长 prompt 拖慢共享实例的 decode。NeuReality 案例使用 vLLM、8 个 prefill 实例和 1 个 decode 实例,部署于独立服务器节点,并采用 Qualcomm Cloud AI 100 Ultra 卡。
来源:AGI Hunt · agihunt.info