跳到正文
AGI Hunt· AccBalanced·· 3 小时前AI 评分30

Red Hat 开设大规模 AI 推理性能直播课,vLLM 核心维护者拆解并行与 KV cache 策略

Red Hat 开设推理性能直播课,vLLM 核心维护者拆解并行与 KV cache 策略

AI 导读

Red Hat AI 宣布于11月18日下午2点(ET)举办大规模 AI 推理性能直播,由 vLLM 核心维护者 Tyler Michael Smith 与 Yuchen Fama 主讲。内容涵盖并行策略、调度、KV cache 卸载及 prefill/decode 分离,并说明各项优化手段在何种条件下才能带来收益。

来源:AGI Hunt · agihunt.info