LoRA 训练参数之争：sigmoid 还是 shift？新模型上屡翻车

Reddit 用户在 Qwen 2.1、MOSS 等新模型的 LoRA 训练中发现，坊间推崇的 sigmoid balanced 在 MOSS 上完全崩坏，但在 Krea 2 和 Qwen 2.1 上表现正常，因此提出改用 shift，或先使用 shift balanced、训练末期切换至 shift low noise 的方案。相关实践反馈显示，媒体生成模型社区在更换底模后仍缺乏稳定的参数经验。