跳到正文
AGI Hunt· SonglinYang4·· 1 小时前AI 评分48

NVIDIA 以代号「yolo bundle」将 nvfp4 用于大规模预训练

AI 导读

NVIDIA 已在预训练中落地 nvfp4(4-bit 浮点格式),项目内部代号为「yolo bundle」,并证实该方法可用于真正的大规模训练。相关方法已发布博客,说明如何在大规模训练中实现低精度预训练;若能稳定规模化,或将影响训练成本与算力经济。

来源:AGI Hunt · agihunt.info