AGI Hunt· tobyordoxford·· 45 分钟前AI 评分37
Toby Ord 推演:RL、推理与预训练算力对应不同幂律指数
RL/推理/预训练算力斜率不同,对应不同幂律指数
AI 导读
牛津学者 Toby Ord 在讨论中指出,benchmark 得分对 log(compute) 的斜率在 RL 算力、推理算力与预训练算力三种情形下各不相同,因此对应不同的幂律指数。由此推论,模型在随机任务上的成功概率随 log(compute) 呈指数增长,即成功几率按算力的幂律增长。
来源:AGI Hunt · agihunt.info