AGI Hunt· songhan_mit·· 4 小时前AI 评分51
Delta-Matching 实现全 FP8 注意力训练并使 loss 追平 BF16
Delta-Matching 打通全 FP8 注意力训练:七个核心矩阵乘全部 FP8,loss 追平 BF16
AI 导读
Delta-Matching 让 softmax 注意力的七个核心矩阵乘全部采用 FP8,在 1.67B GDN/GQA 模型上取得 1.4162 的 CE,优于 BF16/FP32 的 1.4178,并显著优于朴素 FP8 的 1.8970。
来源:AGI Hunt · agihunt.info