AGI Hunt· jbhuang0604·· 1 小时前AI 评分41
LeCun 澄清 JEPA:关键在联合嵌入与生成式架构之分
LeCun 亲自澄清 JEPA:关键不在预测器,而在联合嵌入 vs 生成式
AI 导读
LeCun 回应 JEPA 争论,指出其关键区别不是有无预测器,而是联合嵌入架构与生成式架构。生成式架构从 x 预测 y,并以 y 与预测值之间的散度作为损失;联合嵌入架构则在嵌入空间中比对 x 与 y,是否需要预测器取决于任务本身。
来源:AGI Hunt · agihunt.info