三模态 Masked Diffusion Models 的设计空间与系统分析

研究团队从零预训练首个三模态 Masked Diffusion Models（MDM），统一处理文本、图文与音频-文本数据，并系统分析多模态扩展规律及训练配置。团队提出基于随机微分方程（SDE）的批大小重参数化，无需再调节最优批大小。初步 3B 模型使用 6.4T tokens，在文本生成、T2I 和 T2S 任务中取得较强结果。