一次旋转实现图像文本跨模态对齐

MIT教授Phillip Isola实测发现，将DINOv2或DINOv3生成的图像嵌入经过一次正交旋转，即可大致映射到纯文本训练的JEPA嵌入空间；随后交给语言模型解码，能够准确描述测试图片。 他以自家猫咪照片进行演示，并称结果支持“柏拉图表示假说”，即不同模态的模型可能收敛到相似的几何表示结构；该演示目前仅验证了特定模型、嵌入空间与样例组合。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。