AGI Hunt· thebasepoint·· 58 分钟前AI 评分48
「潜意识学习」研究修正:调对学习率后全微调也会发生
推翻先前结论:调对学习率后全微调也会发生「潜意识学习」
AI 导读
Lawrence Feng 在 LessWrong 发文修正「潜意识学习」研究结论:学习率与数据量合适时,每个 LoRA rank 下都会发生该现象,FFT 也会。先前报告的倒 U 形及“FFT 不发生转移”被归因于共享学习率 2e-4 与数据规模选择,部分发现仍待解释。
来源:AGI Hunt · agihunt.info