AGI Hunt· aaron_defazio·· 1 小时前AI 评分30
AdamC 实测确认最优权重衰减 0.5,显著高于 AdamW 的 0.1–0.2
实测确认 AdamC 最优权重衰减 0.5 显著高于 AdamW 的 0.1–0.2
AI 导读
在 qwen3-0.5m 训练实验中,AdamC 在权重衰减系数 wd=0.5 时取得最低 val loss(约 3.1725),验证其最优权重衰减可高于 AdamW 常用的 0.1–0.2 区间。实验扫描了 0–1 的多个 weight decay 值,aaron_defazio 认为结果与理论预期一致,并附上完整 loss 曲线图。
来源:AGI Hunt · agihunt.info