AGI Hunt· eliebakouch·· 2 小时前AI 评分56
Karpathy 在 nanochat 修订版中以模型深度研究 scaling laws
Karpathy 推进 nanochat 修订版:以深度为旋钮系统研究 scaling laws
AI 导读
Karpathy 在 nanochat 仓库发布 miniseries v1 讨论帖,主张将模型视为由算力预算控制的模型家族,以支持严谨的 scaling laws 研究。首个公开版侧重跑通端到端流程,本次主要补强预训练,并将模型深度作为控制模型家族的旋钮。
来源:AGI Hunt · agihunt.info