kalomaze提出模型瘦身与合成数据路径

kalomaze在与teortaxesTex等人讨论模型“参数不足”时提出，长期海量token推理部署可按计划宽度剪枝expert，以摊薄推理成本；另一条路径是获取或合成更多数据。他称，最优训练数据不必来自目标分布本身，更难的数据可促使模型建立超出目标所需的容量，从而提升泛化能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。