热点事件持续更新

全参微调修正潜意识学习结论

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Lawrence Feng 在 LessWrong 发文修正此前关于“潜意识学习”的研究结论：在数字序列实验中，只要学习率和数据量合适，各种 LoRA rank 下都会出现教师模型行为特质的转移，全参数微调（FFT）也会发生。他称，早先观察到的倒 U 形关系及“FFT 不会发生转移”，主要源于实验统一采用 2e-4 学习率并对数据规模作出选择；部分现象目前仍待解释。

AI 根据报道生成 · 25 分钟前更新

最新进展11月7日 00:31

「潜意识学习」研究修正：调对学习率后全微调也会发生

报道时间线

沿着报道，了解事件的不同侧面。

11月7日

00:31
AGI Hunt
「潜意识学习」研究修正：调对学习率后全微调也会发生
Lawrence Feng 在 LessWrong 发文修正「潜意识学习」研究结论：学习率与数据量合适时，每个 LoRA rank 下都会发生该现象，FFT 也会。先前报告的倒 U 形及“FFT 不发生转移”被归因于共享学习率 2e-4 与数据规模选择，部分发现仍待解释。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。