TUM 用层级误差建模与 Fisher 统计改进 SVD 低秩压缩 LLM

慕尼黑工业大学（TUM）在 Hugging Face 发布工作，通过逐层误差建模与 token 级 Fisher 统计改进基于 SVD 的大模型低秩压缩。该方法重点优化各层的秩分配和分解质量，在低秩压缩比下取得更好的效果。