AGI Hunt· SeunghyunSEO7·· 52 分钟前AI 评分61
nanochat 上线自动科研预训练功能,支持调度数千块 GPU 并自动恢复
基于 nanochat 的自动科研预训练功能上线:可调度数千 GPU 并自动恢复
AI 导读
eliebakouch 在 Karpathy 的 nanochat scaling ladder 上加入 autoresearch,少量节点即可运行 scaling 实验,也可将任务投放到数千块 GPU 并自动恢复故障。转发者 Seunghyun Seo 提出以幂律拟合曲线比较扩展能力,配图显示 Muon 与 Shampoo 达到目标 loss 的算力效率约为 AdamW 的 2 倍。
来源:AGI Hunt · agihunt.info