普林斯顿、斯坦福与 Jane Street 改写 scaling law：合成数据最优比例随算力从 10% 升至 32%

普林斯顿、斯坦福与 Jane Street 研究者发布论文，以 scaling law 量化合成数据改写比例，并揭示其最优值随算力上升。算力从 3×10^18 FLOPs 增至 10^22 FLOPs 时，最优比例由不到 10% 升至 32%；外推 33 倍 FLOPs 训练 22B 参数模型，最终损失与预测仅差 1.1%。