跳到正文
AGI Hunt· charles_irl·· 3 小时前AI 评分48

PROCS 快照压缩论文:恢复到首 token 延迟最高降低 44.7%

PROCS 快照压缩论文:恢复到首 token 延迟最高降 44.7%

AI 导读

Doubleword 与牛津、NVIDIA 等机构发表 PROCS 快照压缩论文,在 5 个 SGLang 推理模型上将恢复到首 token 的延迟降低 7.2–44.7%。采用 256 KiB 块时快照体积缩小 12.5–45.5%;4 MiB 块将体积降低 62%、checkpoint 时间缩短 12.4%,Qwen3.5 27B FP8 在 16 线程下恢复延迟再降 25.8%。

来源:AGI Hunt · agihunt.info