跳到正文
AGI Hunt· jasondeanlee·· 50 分钟前AI 评分19

研究者讨论优化器等变性:无需正交性的新论证更有说服力

AI 导读

研究者 Jason Lee 与 Jianlin 讨论某项关于优化器几何性质的研究,聚焦如何由 w₁ᵀg₁ = w₂ᵀg₂ 推导近似 w₁ᵀg₁ = 0 = w₂ᵀg₂。Jason Lee 读到论文关于优化器具有等变性(equivariant)的注释后认为,该论证不需要正交性假设,因而更有说服力。

来源:AGI Hunt · agihunt.info