五种参数高效微调技术对比科普
热点事件持续更新
五种参数高效微调技术对比科普
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Matt Dancho 用五张图梳理了五种参数高效微调（PEFT）方法：LoRA、LoRA-FA、VeRA、Delta-LoRA 和 LoRA+，并对比各自的冻结参数、可训练参数与更新公式。他的结论是，如今微调模型通常不必更新十亿级预训练权重。 具体差异在于：LoRA-FA 只训练 B 矩阵，VeRA 只学习缩放向量，Delta-LoRA 让基座权重 W 随低秩更新一同演化，LoRA+ 则对 A、B 使用差异化学习率（ηB > ηA）来优化。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 00:25
五张图讲清 LoRA 家族：参数高效微调不再更新十亿级权重报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- AGI Hunt五张图讲清 LoRA 家族：参数高效微调不再更新十亿级权重
文章用五张图梳理 LoRA、LoRA-FA、VeRA、Delta-LoRA 与 LoRA+ 五种参数高效微调方法，并对比冻结参数、可训练参数及更新公式。LoRA-FA 仅训练 B，VeRA 只学习缩放向量，Delta-LoRA 让基座 W 随低秩更新演化，LoRA+ 则以 ηB > ηA 的差异化学习率优化 A、B。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。