跳到正文
AGI Hunt· mdancho84·· 2 小时前AI 评分40

五张图讲清 LoRA 家族:参数高效微调不再更新十亿级权重

五张图讲清 LoRA 家族:参数高效微调不再动十亿级权重

AI 导读

文章用五张图梳理 LoRA、LoRA-FA、VeRA、Delta-LoRA 与 LoRA+ 五种参数高效微调方法,并对比冻结参数、可训练参数及更新公式。LoRA-FA 仅训练 B,VeRA 只学习缩放向量,Delta-LoRA 让基座 W 随低秩更新演化,LoRA+ 则以 ηB > ηA 的差异化学习率优化 A、B。

来源:AGI Hunt · agihunt.info