跳到正文
热点事件持续更新

PROCS压缩推理快照并降低恢复延迟

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Doubleword与牛津大学、NVIDIA等机构发表PROCS快照压缩论文,称其基于CRIU-GPU实现,在5个SGLang推理模型上将恢复到首token的延迟降低7.2%—44.7%。采用256 KiB块时,快照体积缩小12.5%—45.5%;采用4 MiB块时,体积降低62%,checkpoint时间缩短12.4%。 对于Qwen3.5 27B FP8模型,将解压并行度提高到16线程后,恢复延迟进一步降低25.8%。这些性能数据是论文报告的评测结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. AGI Hunt
    PROCS 快照压缩论文:恢复到首 token 延迟最高降低 44.7%

    Doubleword 与牛津、NVIDIA 等机构发表 PROCS 快照压缩论文,在 5 个 SGLang 推理模型上将恢复到首 token 的延迟降低 7.2–44.7%。采用 256 KiB 块时快照体积缩小 12.5–45.5%;4 MiB 块将体积降低 62%、checkpoint 时间缩短 12.4%,Qwen3.5 27B FP8 在 16 线程下恢复延迟再降 25.8%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。