循环扩散语言模型降低训练计算量
热点事件持续更新
循环扩散语言模型降低训练计算量
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
MBZUAI、Sony与MIT研究者在Hugging Face发布论文，提出循环扩散语言模型UDLM：每次去噪时重复调用少量早期Transformer层，从而减少训练计算。研究称，该方法最多可减少2.8倍训练FLOPs，并在约0.5万亿token上达到非循环UDLM的验证负对数似然；相关代码、模型检查点和训练日志已开源。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 01:17
MBZUAI 团队：循环早期层让扩散语言模型训练节省 2.8 倍 FLOPs报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- AGI HuntMBZUAI 团队：循环早期层让扩散语言模型训练节省 2.8 倍 FLOPs
MBZUAI、Sony 与 MIT 研究者在 Hugging Face 发布论文，提出在每次去噪中循环复用少数早期 Transformer 层的 UDLM。该方法最多减少 2.8 倍训练 FLOPs，并在约 0.5 万亿 token 上达到非循环 UDLM 的验证 NLL；代码、checkpoints 与训练日志均已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。