「先知道再画」：语言监督视觉预训练新范式，无像素损失

论文提出一种语言监督视觉预训练新范式：利用语言监督的视觉 tokenization 进行自回归预训练，不依赖像素重建损失，再通过像素扩散完成后训练。拟合的 scaling law 与实验表明，该方法有助于扩散后训练的扩展，并在语义空间建立“文本 → 语义 → 像素”的层级结构。