跳到正文
AGI Hunt· baseten·· 2 小时前AI 评分60

Baseten 将 770GB 模型权重同步缩至 15 秒

Baseten 将 770GB 模型权重增量同步缩至 15 秒,快 7.5 倍

AI 导读

Baseten 宣布上线 delta 权重同步,面向使用其托管 RL rollout 的前沿实验室和研究团队。此前约 770GB 的 GLM-5.3 检查点同步约需 36 秒并暂停请求 6 秒,现在同规模同步仅需 15 秒、暂停请求 0.8 秒,比此前 SOTA 快 7.5 倍。

来源:AGI Hunt · agihunt.info