研究称 LoRA 的 alpha 不应随 rank 缩放且无法等效全参微调

thebasepoint 的研究指出，LoRA 训练初期各 rank 同步移动，增大 rank 相当于提高有效学习率，因此 alpha 应固定而非随 rank 缩放。由于 W=AB 存在二次效应，不存在任何学习率能让 LoRA 等效于全参数微调，早期关于 alpha/rank 缩放的建议并不合理。