研究员认为矩阵优化器之间的 cross-entropy 差距仅 5-10%

研究员 Tarun Kathuria 认为，Muon、Shampoo 等矩阵优化器之间的 cross-entropy 差距大概率在 5-10% 以内。Hyperball、row leverage scores 等额外机制可能拉开表现差距，Shampoo 族在优化矩阵或张量的设计空间上比 Muon 更通用。