AGI Hunt· Panagiotis Koromilas·· 1 天前AI 评分38
LoCA 两阶段对齐研究:让地理空间位置编码器融合多模态影像与元数据
LoCA 两阶段对齐让地理编码器吃进多模态影像与元数据
AI 导读
LoCA 通过两阶段流水线,让地理空间位置编码器获得多模态能力。第一阶段以 Sentinel-2 多光谱和 Sentinel-1 SAR 训练协同对齐的影像编码器,并通过 DHEL 损失构建统一嵌入空间。第二阶段冻结影像编码器,以 adapter MLP 接入位置坐标与元数据编码器,推理时可完成土地覆盖、野火、气候等多种地球观测任务预测,性能超过现有方法。
来源:AGI Hunt · agihunt.info