AGI Hunt· Distinct-Pie2389·· 2 小时前AI 评分55
开源工具 Berth 用内存停驻缩短模型切换时间
开源工具 Berth 把闲置引擎停进内存,模型切换从 13.7 秒降到 5.6 秒
AI 导读
开源工具 Berth 通过 park protocol 让 ComfyUI、vLLM、SGLang 等推理引擎空闲时将权重移入系统内存,恢复时直接载入。在 RTX 4090 与 64 GiB RAM 参考环境中,21GB 聊天模型命中 page cache 后,包含租约的切换耗时为 5.6 秒,首次磁盘冷载为 13.7 秒。
来源:AGI Hunt · agihunt.info