AGI Hunt· kbesplv·· 5 小时前AI 评分70
warmctl 用 DMTCP 快照将 vLLM 冷启动缩至 14 秒,CRIU 在 RunPod 失效
warmctl 用 DMTCP 快照让 vLLM 冷启动缩至 14 秒,CRIU 在 RunPod 失效
AI 导读
warmctl 新增轻量后端,把预热好的 vLLM 进程做快照存到网络卷,新 Pod 可秒级恢复而不必等待数分钟。实测 Qwen3-32B 在 2×L40S 上 14 秒即可对外服务。技术文章还解释了 CRIU 在 RunPod 环境下无法工作的原因,转而使用 DMTCP 进行进程快照与恢复(TP=2)。
来源:AGI Hunt · agihunt.info