AGI Hunt· HankYeomans·· 54 分钟前AI 评分35
GLM 5.3 解码显存卸载机制图解:每生成一个 token 需读取 13GB 权重
图解 GLM 5.3 解码显存卸载:每生成一个 token 需读 13GB 权重
AI 导读
AGI Hunt 图解 GLM 5.3 推理解码阶段的显存卸载机制:每生成一个 token 需读取 13GB 常驻权重。示例覆盖全部 75 层,每层涉及 8/256 个专家,并将 8 个专家中的 7 个副本缓存在 GPU。未命中的专家由 CPU 从 RAM 直接计算,部分可按效率择机复制回 GPU。
来源:AGI Hunt · agihunt.info