Deletion Tuning：置零不到 0.1% 权重媲美全量微调

一项入选 NeurIPS 的研究提出 Deletion Tuning，通过为预训练大模型的 gate projection 学习二值掩码，在不做其他修改的情况下将不到 0.1% 的权重置零。该方法在三类后训练任务上取得媲美全量微调的效果，表明删除权重也能让 LLM 学到新技能。