MBZUAI 团队：循环早期层让扩散语言模型训练节省 2.8 倍 FLOPs

MBZUAI、Sony 与 MIT 研究者在 Hugging Face 发布论文，提出在每次去噪中循环复用少数早期 Transformer 层的 UDLM。该方法最多减少 2.8 倍训练 FLOPs，并在约 0.5 万亿 token 上达到非循环 UDLM 的验证 NLL；代码、checkpoints 与训练日志均已开源。