跳到正文
热点事件持续更新

研究者争论训练主权重精度惯例

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

y0b1byte在回复Google DeepMind研究者giffmana与mwulfmeier时表示,训练主权重采用fp32或随机舍入已是跨领域长期确立的做法,应被视为显而易见的共识。该说法是y0b1byte对训练数值精度惯例的主张,并不代表相关讨论已形成一致结论。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    训练权重该用 fp32 还是随机舍入?研究者争论精度惯例

    y0b1byte 表示,主权重采用 fp32 或随机舍入已是跨领域长期确立的做法,应被视为显而易见的共识。该观点出现在关于训练数值精度的讨论中,针对 Google DeepMind 研究者 giffmana 与 mwulfmeier 的回复。

  2. AGI Hunt
    bf16 精度破坏 VLA 微调效果引发热议

    Google DeepMind 研究员 Markus Wulfmeier 推荐一篇论文,指出 bf16 数值精度会破坏 VLA(视觉-语言-动作)模型的微调效果。该观点引发社区讨论,网友质疑结论并不新鲜,并提出将主权重保存为 fp32 或采用随机舍入来缓解精度问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。