跳到正文
AGI Hunt· JensHonack·· 1 小时前AI 评分18

tszzl:高维空间中局部极小值很罕见,是最乐观的「白药丸」

tszzl:高维空间中局部极小值很罕见,是最乐观的「白药丸」

AI 导读

AI 研究者 tszzl 发推称,高维空间中的局部极小值很罕见,这是最令人乐观的事实。深度学习优化中参数空间维度极高,鞍点远多于真正的局部极小值,因此训练陷入死胡同的概率可能比直觉更低。

来源:AGI Hunt · agihunt.info