AdamC实测最优权重衰减高于常用区间
热点事件持续更新
AdamC实测最优权重衰减高于常用区间
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
在 Qwen3-0.5M 训练实验中,AdamC 的最低验证损失出现在权重衰减系数为 0.5 时,数值约为 3.1725,高于 AdamW 常用的 0.1–0.2 区间。 aaron_defazio 扫描了 0 至 1 的多个权重衰减值并公布完整损失曲线,称结果符合理论预期;这一结论目前限于该模型与实验设置。
AI 根据报道生成 · 47 分钟前更新
最新进展11月17日 03:50
AdamC 实测确认最优权重衰减 0.5,显著高于 AdamW 的 0.1–0.2报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntAdamC 实测确认最优权重衰减 0.5,显著高于 AdamW 的 0.1–0.2
在 qwen3-0.5m 训练实验中,AdamC 在权重衰减系数 wd=0.5 时取得最低 val loss(约 3.1725),验证其最优权重衰减可高于 AdamW 常用的 0.1–0.2 区间。实验扫描了 0–1 的多个 weight decay 值,aaron_defazio 认为结果与理论预期一致,并附上完整 loss 曲线图。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。