南洋理工大学与 ASTAR 研究扩散语言模型的学习型 unmasking 策略

南洋理工大学与 ASTAR 发布论文，系统研究掩码扩散语言模型（mdLM）的学习型 unmasking 策略如何取得更好的速度—精度权衡。研究将监督式策略视为“蒸馏一个解码过程”，以轨迹收缩目标结合置信度与隐状态进行学习，并借助控制变量分析影响策略效果的关键因素。