研究称指令微调降低模型语义多样性且随规模加剧

研究发现，指令微调虽能提升模型遵循指令和回答的实用性，却会降低输出的语义多样性，且这一损失随模型规模扩大而加剧。文章评估了 annotation-anchored training 方法，通过预训练阶段学习生成内容标签、指令微调阶段按给定语义计划响应，以减少多样性损失。