DeepMind 研究员 Toby Ord 解读下一代模型预训练：能力跃升或源于数据与算法改进

DeepMind 研究员 Toby Ord 在 X 上判断，下一代模型的能力跃升可能并非来自训练算力加速，而是更大规模新一轮预训练、数据质量提升与预训练算法改进共同作用。他估计一次大规模新预训练可带来约 5 个 AECI 的提升，并叠加约 1.4 倍的速度改进。