跳到正文
AGI Hunt· aaron_defazio·· 1 小时前AI 评分30

AdamC 实测确认最优权重衰减 0.5,显著高于 AdamW 的 0.1–0.2

实测确认 AdamC 最优权重衰减 0.5 显著高于 AdamW 的 0.1–0.2

AI 导读

在 qwen3-0.5m 训练实验中,AdamC 在权重衰减系数 wd=0.5 时取得最低 val loss(约 3.1725),验证其最优权重衰减可高于 AdamW 常用的 0.1–0.2 区间。实验扫描了 0–1 的多个 weight decay 值,aaron_defazio 认为结果与理论预期一致,并附上完整 loss 曲线图。

来源:AGI Hunt · agihunt.info