跳到正文
AGI Hunt· tobyordoxford·· 45 分钟前AI 评分37

Toby Ord 推演:RL、推理与预训练算力对应不同幂律指数

RL/推理/预训练算力斜率不同,对应不同幂律指数

AI 导读

牛津学者 Toby Ord 在讨论中指出,benchmark 得分对 log(compute) 的斜率在 RL 算力、推理算力与预训练算力三种情形下各不相同,因此对应不同的幂律指数。由此推论,模型在随机任务上的成功概率随 log(compute) 呈指数增长,即成功几率按算力的幂律增长。

来源:AGI Hunt · agihunt.info