研究者提出合成数据改写比例新标度律
热点事件持续更新
研究者提出合成数据改写比例新标度律
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
普林斯顿、斯坦福与 Jane Street 研究者发布论文，提出在算力和数据受限条件下，合成数据的最优改写比例会随算力增加而上升。在改写器与目标模型同规模、且使用同一批自然数据预训练的数据受限场景中，研究者测得算力从3×10^18 FLOPs增至10^22 FLOPs时，最优比例由不足10%升至32%。 研究还将该规律外推至用33倍FLOPs训练22B参数模型，预测损失与最终损失相差1.1%。这项结果为在固定计算预算下确定合成数据与自然数据的配置比例提供了量化依据。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 23:30
普林斯顿、斯坦福与 Jane Street 改写 scaling law：合成数据最优比例随算力从 10% 升至 32%报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI Hunt普林斯顿、斯坦福与 Jane Street 改写 scaling law：合成数据最优比例随算力从 10% 升至 32%
普林斯顿、斯坦福与 Jane Street 研究者发布论文，以 scaling law 量化合成数据改写比例，并揭示其最优值随算力上升。算力从 3×10^18 FLOPs 增至 10^22 FLOPs 时，最优比例由不到 10% 升至 32%；外推 33 倍 FLOPs 训练 22B 参数模型，最终损失与预测仅差 1.1%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。