跳到正文
AGI Hunt· giffmana·· 2 小时前AI 评分38

bf16 精度破坏 VLA 微调效果引发热议

bf16 精度破坏 VLA 微调引热议

AI 导读

Google DeepMind 研究员 Markus Wulfmeier 推荐一篇论文,指出 bf16 数值精度会破坏 VLA(视觉-语言-动作)模型的微调效果。该观点引发社区讨论,网友质疑结论并不新鲜,并提出将主权重保存为 fp32 或采用随机舍入来缓解精度问题。

来源:AGI Hunt · agihunt.info