研究者称扩散模型自编码器或丢失低频信息

kalomaze 认为，SOTA 扩散模型的自编码器在将数据编码为瓶颈 latent 时过于粗糙，可能已丢失底层信息，使模型即使学会训练数据表征也难以恢复相关信息。其依据是对 120 个生成视频的观察，这些视频未生成低频的飞机多普勒效应音；低频信息或在实际训练数据表征中就已不可恢复，而不只是模型没有学到。

研究者 kalomaze 认为，SOTA 潜空间扩散模型使用的自编码器本质上是有损分词器，训练数据在编码为瓶颈 latent 时就已丢失部分信息。其检查 120 个生成视频后发现，模型不会生成低频的飞机多普勒效应音，佐证低频信息可能未在训练阶段得到保留。