指令微调加剧模型语义多样性下降

1. 09:49
   AGI Hunt

   研究称指令微调降低模型语义多样性且随规模加剧

   研究发现，指令微调虽能提升模型遵循指令和回答的实用性，却会降低输出的语义多样性，且这一损失随模型规模扩大而加剧。文章评估了 annotation-anchored training 方法，通过预训练阶段学习生成内容标签、指令微调阶段按给定语义计划响应，以减少多样性损失。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。