研究：动态加权框架无需重训练筛选 LLM 对齐偏好数据

一项研究介绍并评估了动态加权框架，通过小型高质量 holdout 集量化候选样本带来的损失下降，在无需辅助参考模型或重复训练的情况下为微调数据打分与重加权。研究估计，20%-40% 的对齐偏好数据含噪声、冗余或不一致；小而精的策展子集可达到与海量数据相当的效果，为生产环境低成本筛选数据提供路径。