LoRA训练者尝试以shift替代sigmoid
热点事件持续更新
LoRA训练者尝试以shift替代sigmoid
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户称，在 MOSS 上采用 sigmoid balanced 进行 LoRA 训练会“完全崩坏”，同一设置在 Krea 2 和 Qwen 2.1 上却表现正常，因此尝试改用 shift，或先以 shift balanced 训练、末期切换到 shift low noise。相关实践反馈显示，新模型底座下仍没有稳定通用的参数方案。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 01:19
LoRA 训练参数之争：sigmoid 还是 shift？新模型上屡翻车报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI HuntLoRA 训练参数之争：sigmoid 还是 shift？新模型上屡翻车
Reddit 用户在 Qwen 2.1、MOSS 等新模型的 LoRA 训练中发现，坊间推崇的 sigmoid balanced 在 MOSS 上完全崩坏，但在 Krea 2 和 Qwen 2.1 上表现正常，因此提出改用 shift，或先使用 shift balanced、训练末期切换至 shift low noise 的方案。相关实践反馈显示，媒体生成模型社区在更换底模后仍缺乏稳定的参数经验。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。