跳到正文
热点事件持续更新

Karpathy提出按模型深度研究缩放定律

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Karpathy 在 nanochat 仓库发布“miniseries v1”讨论帖,提出以模型深度控制模型家族,在固定算力预算下研究大语言模型缩放定律,而非只优化单一模型。 首个公开版主要跑通端到端流程,本次修订回补此前略过的预训练环节,并将模型深度作为 nanochat 中对应的控制旋钮。Karpathy 称,这种把模型视为随算力增加而单调改善的家族式设定,有助于严谨开展 scaling laws 研究。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    Karpathy 在 nanochat 修订版中以模型深度研究 scaling laws

    Karpathy 在 nanochat 仓库发布 miniseries v1 讨论帖,主张将模型视为由算力预算控制的模型家族,以支持严谨的 scaling laws 研究。首个公开版侧重跑通端到端流程,本次主要补强预训练,并将模型深度作为控制模型家族的旋钮。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。