Polar Switch加速Muon正交化
热点事件持续更新
Polar Switch加速Muon正交化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zhehang Du与Weijie Su发布论文，提出以多项式电路优化Muon梯度矩阵正交化，并开放论文和代码。方阵测试中，其运行时间较五次Newton–Schulz迭代降低15.5%至18.7%；矩形矩阵测试中，较Gram Newton–Schulz节省8.6%至16.2%运行时间并减少内存使用。 该方法已用于Modded-NanoGPT #91和Qwen3-0.6B等预训练验证，但报道未说明这些训练中采用该方法的具体范围或效果。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 23:55
Polar Switch 优化 Muon 正交化，运行时间最多降低 18.7%报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntPolar Switch 优化 Muon 正交化，运行时间最多降低 18.7%
Polar Switch 以多项式电路优化 Muon 梯度矩阵正交化，方阵运行时间较五次 Newton–Schulz 迭代降低 15.5–18.7%。在长宽比 3.25/3.5/8 的矩形矩阵上，较 Gram Newton–Schulz 节省 8.6–16.2% 运行时间并减少内存；该方法已用于 Modded-NanoGPT #91、Qwen3-0.6B 等预训练验证，论文与代码均已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。