Delta-Matching实现全FP8注意力训练
热点事件持续更新
Delta-Matching实现全FP8注意力训练
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
MIT研究者songhan_mit提出并验证Delta-Matching，使softmax注意力中的七个核心矩阵乘均采用FP8；在1.67B GDN/GQA模型上，其交叉熵为1.4162，略优于BF16/FP32的1.4178，并明显低于朴素FP8的1.8970。 该方法依据反向传播实际使用的运算重新计算softmax反传的行修正量，以避免前后向FP8舍入不一致。实验覆盖569M至5.29B参数模型及8K至64K上下文；研究同时发现，模型越大，部分注意力通道的增益漂移越快，长时间训练可能暴露短测未显现的退化。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 06:11
Delta-Matching 实现全 FP8 注意力训练并使 loss 追平 BF16报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntDelta-Matching 实现全 FP8 注意力训练并使 loss 追平 BF16
Delta-Matching 让 softmax 注意力的七个核心矩阵乘全部采用 FP8，在 1.67B GDN/GQA 模型上取得 1.4162 的 CE，优于 BF16/FP32 的 1.4178，并显著优于朴素 FP8 的 1.8970。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。