跳到正文
热点事件持续更新

techNmak系统讲解五种PEFT微调技术

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

techNmak发布并讲解LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+五种参数高效微调技术,分别说明它们通过哪些可训练参数改变模型权重:LoRA冻结原权重矩阵W并训练A、B,LoRA-FA仅训练B,VeRA只学习b、d的缩放参数,Delta-LoRA让低秩增量持续更新W,LoRA+则为B设置更大学习率。 该内容以图表拆解各方法对权重更新的影响,但未给出统一任务下的效果对比或性能结论。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. AGI Hunt
    一文讲透 5 种 PEFT 微调技术:LoRA 到 VeRA 各自在改什么权重

    5 种 PEFT 微调技术分别通过训练低秩矩阵、缩放向量或调整学习率来改变模型权重。其中,LoRA 冻结 W 并训练 A、B,LoRA-FA 仅训练 B,VeRA 只学习 b、d 的缩放;Delta-LoRA 让低秩增量持续更新 W,LoRA+ 则为 B 设置更大学习率。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月10日 00:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。