AGI Hunt· weijie444·· 3 小时前AI 评分48
Polar Switch 优化 Muon 正交化,运行时间最多降低 18.7%
Polar Switch 优化 Muon 正交化,运行时间最多降低 18.7%
AI 导读
Polar Switch 以多项式电路优化 Muon 梯度矩阵正交化,方阵运行时间较五次 Newton–Schulz 迭代降低 15.5–18.7%。在长宽比 3.25/3.5/8 的矩形矩阵上,较 Gram Newton–Schulz 节省 8.6–16.2% 运行时间并减少内存;该方法已用于 Modded-NanoGPT #91、Qwen3-0.6B 等预训练验证,论文与代码均已开源。
来源:AGI Hunt · agihunt.info