跳到正文
热点事件持续更新

AdamC实测最优权重衰减高于常用区间

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

在 Qwen3-0.5M 训练实验中,AdamC 的最低验证损失出现在权重衰减系数为 0.5 时,数值约为 3.1725,高于 AdamW 常用的 0.1–0.2 区间。 aaron_defazio 扫描了 0 至 1 的多个权重衰减值并公布完整损失曲线,称结果符合理论预期;这一结论目前限于该模型与实验设置。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    AdamC 实测确认最优权重衰减 0.5,显著高于 AdamW 的 0.1–0.2

    在 qwen3-0.5m 训练实验中,AdamC 在权重衰减系数 wd=0.5 时取得最低 val loss(约 3.1725),验证其最优权重衰减可高于 AdamW 常用的 0.1–0.2 区间。实验扫描了 0–1 的多个 weight decay 值,aaron_defazio 认为结果与理论预期一致,并附上完整 loss 曲线图。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。