AGI Hunt· Zeguan Xiao·· 5 小时前AI 评分36
CurvDelta 与 CurvLoRA 论文:低曲率约束模型更新,兼顾学习与遗忘
CurvDelta 论文:低曲率约束的模型更新,兼顾学习与遗忘
AI 导读
上海财经大学、阿里、南科大等机构提出 CurvDelta 与 CurvLoRA,将能力保持约束纳入模型更新的参数化。方法以 K-FAC 近似曲率,并通过因子化投影实现,CurvLoRA 为低秩高效变体;在数学推理、代码生成和知识遗忘任务中,两者在提升下游表现的同时更好地保留通用能力。
来源:AGI Hunt · agihunt.info