新 scaling law：数据受限下 LLM 参数规模或达千万亿级

industriaalist 团队发布新研究，提出数据受限 scaling law 与学习算法，认为 LLM 严重欠参数化。研究外推到千万亿级 transformer：在 5T token、10^29 FLOPs 下，定律要求的参数量约为 Chinchilla 法则的 7000 倍，团队同时指出训练此类模型需重新设计学习算法的每个环节。