AGI Hunt· burny_tech·· 3 小时前AI 评分32
开发者在物理 Transformer 中复现 Kimi AttnRes,loss 收敛更快
开发者在物理 Transformer 中复现 Kimi AttnRes:loss 收敛更快
AI 导读
开发者 burnytech 将 Kimi Team 论文《Attention Residuals》的方法加入 General Physics Transformer,复现 Kimi AttnRes 并观察到更快的 loss 下降。加入 Block Attention Residuals 后,辐射层在 12 步时的 NMSE 从 0.39277 降至 0.28917。
来源:AGI Hunt · agihunt.info