Berth 开源推理引擎内存停驻协议

开源工具 Berth 提出 park protocol，使支持自卸载的 ComfyUI、vLLM、SGLang 等推理引擎在空闲时将权重移入系统内存，恢复时直接从内存载入，减少模型切换时的磁盘读取。 在 RTX 4090、64 GiB 内存的参考环境中，21GB 聊天模型命中 page cache 后，包含租约的切换耗时为 5.6 秒，首次磁盘冷载为 13.7 秒。Berth 仅在可用内存能够覆盖引擎权重并保留安全余量时执行停驻；内存紧张时，系统会优先终止已停驻的引擎。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。