跳到正文
热点事件持续更新

nanochat加入自动科研预训练

1 篇报道1 个报道来源44 分钟前更新

先了解这件事

AI 综述

eliebakouch 在 Karpathy 的 nanochat scaling ladder 上加入 autoresearch 功能,使研究者能用少量节点运行扩展实验,也可将任务调度至数千块 GPU,并在故障后自动恢复。 Seunghyun Seo 提出用幂律拟合曲线比较模型的扩展能力;其配图称,Muon 和 Shampoo 达到目标损失所需的算力约为 AdamW 的两倍。该结果来自配图展示,尚不能视为已独立验证的结论。

AI 根据报道生成 · 22 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    nanochat 上线自动科研预训练功能,支持调度数千块 GPU 并自动恢复

    eliebakouch 在 Karpathy 的 nanochat scaling ladder 上加入 autoresearch,少量节点即可运行 scaling 实验,也可将任务投放到数千块 GPU 并自动恢复故障。转发者 Seunghyun Seo 提出以幂律拟合曲线比较扩展能力,配图显示 Muon 与 Shampoo 达到目标 loss 的算力效率约为 AdamW 的 2 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。