AGI Hunt· cneuralnetwork·· 4 小时前AI 评分39
Adam 与 AdamW 的区别:解耦权重衰减为何不等价于损失加 L2 正则
Adam 与 AdamW 的区别:解耦权重衰减为何不等价于损失加 L2 正则
AI 导读
AdamW 与在 Adam 的 loss 中直接加入 λ||w||² 并不等价,核心区别在于 AdamW 引入了“解耦权重衰减(decoupled weight decay)”。文章以 ML 面试题的形式,进一步解释两种权重衰减方式为何不能视为同一种实现。
来源:AGI Hunt · agihunt.info