预训练图像模型可按任意顺序生成

Stony Brook大学与蒙特利尔ÉTS/LIVIA提出一种改造预训练光栅扫描自回归图像模型的方法，通过未来感知位置嵌入和顺序课程学习，使其支持任意顺序生成，并可用于图像补全和扩图；论文称，这只需极少的额外计算。 该方法保留KV caching及vLLM等推理生态兼容性。作为对比，现有离散扩散方案若要适配多种token顺序，需要从头训练，训练代价约为标准光栅扫描的3倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。