Subspace Tuning（SST）：限制权重更新以缓解 LLM 灾难性遗忘

论文提出 Subspace Tuning（SST），将每次权重更新限制在底部奇异子空间、不改动主奇异方向，以缓解大语言模型微调中的灾难性遗忘。它结合紧凑子空间保护、稠密梯度估计与刷新机制，优于正交微调方法，并可叠加 SFT、自蒸馏等流程。保护约 99% 的权重子空间即可显著提升旧能力保留，模型与数据规模越大效果越好。