跳到正文
AGI Hunt· OmniAI-ZJU·· 3 小时前AI 评分33

浙大团队提出 DTCA:以 token 级信用分配改进扩散语言模型 RL 训练

浙大团队提出 DTCA:为扩散语言模型 RL 训练做 token 级信用分配

AI 导读

浙大 OmniAI 团队联合新加坡国立大学与 SAP 提出 DTCA,通过 token 级信用分配改进扩散语言模型的 RL 训练。DTCA 根据 token 确定后其余被遮蔽位置的预测置信度提升估计贡献,并按词性类别分组信号,选择信息量大的去噪时间步。在数学推理任务上,DTCA 提升了扩散语言模型的 RL 训练效果。

来源:AGI Hunt · agihunt.info