AGI Hunt· techNmak·· 4 小时前AI 评分47
一文讲透 5 种 PEFT 微调技术:LoRA 到 VeRA 各自在改什么权重
一文讲透 5 种 PEFT 微调技术:LoRA 到 VeRA 各自在改什么权重
AI 导读
5 种 PEFT 微调技术分别通过训练低秩矩阵、缩放向量或调整学习率来改变模型权重。其中,LoRA 冻结 W 并训练 A、B,LoRA-FA 仅训练 B,VeRA 只学习 b、d 的缩放;Delta-LoRA 让低秩增量持续更新 W,LoRA+ 则为 B 设置更大学习率。
来源:AGI Hunt · agihunt.info