跳到正文
AGI Hunt· tobyordoxford·· 1 小时前AI 评分58

Toby Ord 质疑 METR 任务时长倍增数据中的算力扩展规律

Toby Ord 质疑:算力增长难以解释 METR 任务时长倍增提速

AI 导读

Toby Ord 分析 METR 的 AI 任务时长 scaling 数据,指出论文脚注中的幂指数为 0.454,算力扩大约 100 倍才可让模型可完成的任务时长延长 10 倍。他表示,按 Chinchilla 最优等效调整训练算力后,幂律拟合更佳;若任务时长倍增期从 2024 年前的 7 个月缩短至 4 个月,训练算力需每 4 个月翻两番。

来源:AGI Hunt · agihunt.info