跳到正文
AGI Hunt· y0b1byte·· 2 小时前AI 评分18

训练权重该用 fp32 还是随机舍入?研究者争论精度惯例

AI 导读

y0b1byte 表示,主权重采用 fp32 或随机舍入已是跨领域长期确立的做法,应被视为显而易见的共识。该观点出现在关于训练数值精度的讨论中,针对 Google DeepMind 研究者 giffmana 与 mwulfmeier 的回复。

来源:AGI Hunt · agihunt.info