遥感论文 | 多模态时空遥感基础模型应用于农作物制图

文章预览

论文题目： Towards a Knowledge guided Multimodal Foundation Model for Spatio-Temporal Remote Sensing Applications 论文链接： https://arxiv.org/pdf/2407.19660 发表时间： 2024.7.29 摘要 本文提出了一个遥感地球科学应用的基础建模框架， 该框架利用了 知识引导原则 ，即光谱图像捕获了物理驱动因素对环境系统的影响，以及它们之间的关系由系统的特征所决定。 方法称为多模态可变步长预测（MM-VSF），使用多模态数据（光谱图像和天气）作为输入，并使用可变步长预测任务作为其预训练目标。 在评估中展示了使用天气进行卫星图像预测可以作为基础模型的有效预训练任务。 方法 两部分： 架构遵循重量级编码器和轻量级解码器的格式。 将多种模态纳入我们的预训练中，即光谱图像和天气。 Pretraining Task 使用当前的卫星图像，并提供直到特定日子的天气数据，将要求模型预测 ………………………………