Meta 与 NYU 研究证实 4M 参数小模型仍服从 scaling law

Meta 与 NYU 研究者更新论文《Small-Scale Experiments: Are We There Yet?》，证实即使模型仅有 4M 参数，经细致调优后 scaling law 仍然成立。小模型对超参的敏感度远高于大模型，可靠估计 scaling law 需要搜索更多超参配置，这也解释了社区小规模实验结果相互矛盾的现象。