AGI Hunt· mdancho84·· 2 小时前AI 评分40
五张图讲清 LoRA 家族:参数高效微调不再更新十亿级权重
五张图讲清 LoRA 家族:参数高效微调不再动十亿级权重
AI 导读
文章用五张图梳理 LoRA、LoRA-FA、VeRA、Delta-LoRA 与 LoRA+ 五种参数高效微调方法,并对比冻结参数、可训练参数及更新公式。LoRA-FA 仅训练 B,VeRA 只学习缩放向量,Delta-LoRA 让基座 W 随低秩更新演化,LoRA+ 则以 ηB > ηA 的差异化学习率优化 A、B。
来源:AGI Hunt · agihunt.info