AGI Hunt· OmniAI-ZJU·· 3 小时前AI 评分33
浙大团队提出 DTCA:以 token 级信用分配改进扩散语言模型 RL 训练
浙大团队提出 DTCA:为扩散语言模型 RL 训练做 token 级信用分配
AI 导读
浙大 OmniAI 团队联合新加坡国立大学与 SAP 提出 DTCA,通过 token 级信用分配改进扩散语言模型的 RL 训练。DTCA 根据 token 确定后其余被遮蔽位置的预测置信度提升估计贡献,并按词性类别分组信号,选择信息量大的去噪时间步。在数学推理任务上,DTCA 提升了扩散语言模型的 RL 训练效果。
来源:AGI Hunt · agihunt.info