kalomaze 谈模型瘦身与合成数据：为泛化而学的最优数据并非目标分布本身

kalomaze 在与 teortaxesTex 等人讨论模型是否“参数不足”时提出，长期海量 token 推理部署可通过按计划宽度剪枝 expert 摊薄成本，另一条路径是获取或合成更多数据。他认为，最优训练数据不必来自目标分布本身，更难的数据可促使模型建立超出目标所需的容量，从而提升泛化能力。