AGI Hunt· dlwh·· 3 小时前AI 评分34
Marin 作者详解 scaling law 公式,并让 Codex 代为拟合
Marin 作者详解 scaling 公式并让 Codex 代拟合
AI 导读
Marin 作者 dlwh 详解 scaling law 的简化拟合公式,并将损失渐近线拟合工作交给 Codex 完成。拟合公式为 loss = E + A·compute^(-alpha),其中 E 是 loss 渐近下限、A 是尺度项;难点是在小模型阶段估计渐近线。
来源:AGI Hunt · agihunt.info