跳到正文
AGI Hunt· tokenbender·· 4 小时前AI 评分42

vLLM 静默将 Engram 权重压成 8-bit,阿里工程师发现量化 bug

vLLM 静默把 Engram 权重压成 8-bit,阿里工程师揪出量化 bug

AI 导读

阿里工程师在 T-Head 玄武 810E 芯片上运行 DeepSeek-V4.1 时,发现 vLLM 因内部重命名 Engram 权重而绕过 ignore list,将其从 BF16 静默转换为 8-bit 整数。大量数值因此被舍入为零,模型带着损坏权重运行却未报错,甚至可能掩盖长达 4 天的集群 RL 训练中的性能问题。

来源:AGI Hunt · agihunt.info