跳到正文
AGI Hunt· AlpinDale·· 1 小时前AI 评分20

LLM 推理优化社区讨论:prefill 用原生精度量化、decode 用高精度 weight-only 可行吗

社区讨论:prefill 用原生精度量化、decode 用高精度 weight-only 可行吗

AI 导读

AlpinDale 在 AGI Hunt 社区提出差异化量化方案:prefill 阶段采用原生精度量化,decode 阶段采用仅作用于权重的高精度量化。该思路依据 prefill 计算受限、decode 访存受限的特性,旨在平衡推理速度与精度。

来源:AGI Hunt · agihunt.info