语言监督视觉预训练提出“先知道再画”范式

论文提出一种视觉生成学习新范式：先利用语言监督的视觉 tokenization 进行自回归预训练，不依赖像素重建损失，再通过像素扩散完成后训练。实验及拟合的 scaling law 显示，该方法有助于扩散后训练扩展，并在语义空间形成“文本→语义→像素”的层级结构。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。