跳到正文
AGI Hunt· HankYeomans·· 54 分钟前AI 评分35

GLM 5.3 解码显存卸载机制图解:每生成一个 token 需读取 13GB 权重

图解 GLM 5.3 解码显存卸载:每生成一个 token 需读 13GB 权重

AI 导读

AGI Hunt 图解 GLM 5.3 推理解码阶段的显存卸载机制:每生成一个 token 需读取 13GB 常驻权重。示例覆盖全部 75 层,每层涉及 8/256 个专家,并将 8 个专家中的 7 个副本缓存在 GPU。未命中的专家由 CPU 从 RAM 直接计算,部分可按效率择机复制回 GPU。

来源:AGI Hunt · agihunt.info