跳到正文
AGI Hunt· thebasepoint·· 56 分钟前AI 评分40

LoRA 各 rank 起步同步移动,rank 越大等效学习率越高

AI 导读

thebasepoint 分享了对 LoRA 学习动力学的独立发现,并与原论文作者交流:训练开始时,简单任务下所有 rank 呈同步移动,rank 增大等效于提高有效学习率。他指出,一篇论文发现的 LoRA rank 与「潜意识迁移」效应的 U 形曲线,可能源于 alpha 取值与数据集规模的选择。

来源:AGI Hunt · agihunt.info