跳到正文
AGI Hunt· eliebakouch·· 2 小时前AI 评分56

Karpathy 在 nanochat 修订版中以模型深度研究 scaling laws

Karpathy 推进 nanochat 修订版:以深度为旋钮系统研究 scaling laws

AI 导读

Karpathy 在 nanochat 仓库发布 miniseries v1 讨论帖,主张将模型视为由算力预算控制的模型家族,以支持严谨的 scaling laws 研究。首个公开版侧重跑通端到端流程,本次主要补强预训练,并将模型深度作为控制模型家族的旋钮。

来源:AGI Hunt · agihunt.info