Reddit 长文分析 KLD 作为量化模型质量排名的局限

一位量化模型作者在 Reddit 长文中指出，KLD 并不适合作为量化模型质量的通用排名指标。KLD 衡量基础模型与量化模型逐 token 的 logits 概率分布差异，使用随机文本可能偏离推理时的真实分布，并可通过同源校准数据或端到端微调量化 scale 获得更好结果。作者将其定位为诊断工具，而非衡量模型在具体任务中表现的质量指标。