跳到正文
AGI Hunt· dlwh·· 3 小时前AI 评分34

Marin 作者详解 scaling law 公式,并让 Codex 代为拟合

Marin 作者详解 scaling 公式并让 Codex 代拟合

AI 导读

Marin 作者 dlwh 详解 scaling law 的简化拟合公式,并将损失渐近线拟合工作交给 Codex 完成。拟合公式为 loss = E + A·compute^(-alpha),其中 E 是 loss 渐近下限、A 是尺度项;难点是在小模型阶段估计渐近线。

来源:AGI Hunt · agihunt.info