研究扩散语言模型学习型去掩码策略

南洋理工大学与A*STAR发布论文《What Makes a Good Unmasking Policy?》，系统研究掩码扩散语言模型的学习型去掩码策略，以改善生成速度与准确性的权衡。研究将监督式策略视为“蒸馏一个解码过程”，采用结合置信度与隐状态的轨迹收缩目标进行学习，并通过控制变量分析各项因素的影响。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。