本发明涉及机器学习和人工智能,尤其涉及一种基于聚合能量蒸馏的遥感图像增量学习方法及装置。
背景技术:
1、遥感技术通过卫星、飞机和无人机等平台获取地球表面的详细信息,如地形、地貌、植被、土壤、水资源和气候等。随着遥感图像数据量的激增,智能遥感系统(intelligentremote sensing system,irss)应运而生,它们利用人工智能方法,尤其是深度学习技术,对遥感数据进行分析,实现目标检测和语义分割等功能。irss在面对新任务时,如不同的观测角度、高度或复杂的背景干扰,常常需要对模型进行调整以适应新的数据分布。
2、目前,实现遥感图像分类任务的增量学习的方式为,通过设计从简单到复杂的学习序列,使用相似性比较来优化学习顺序,并引入记忆库的概念来存储之前任务中的关键数据样本,在已有模型基础上对新任务进行微调,采用优化算法对模型参数进行调整,以达到最小化新旧任务的损失函数的目的。
3、然而,现有方法不能很好地从旧任务中提取和迁移知识,这导致模型在新任务中难以识别和利用旧任务中的关键特征,使得智能遥感系统在增量学习过程中存在灾难性遗忘问题;为了维持对旧任务的记忆,现有方法通常需要存储大量的旧任务数据,这不仅增加了存储成本,而且在数据管理上也带来了挑战;现有方法在新任务的学习过程中不够稳定,因为过度依赖旧任务的数据,而没有充分考虑新任务的特点,导致模型在新任务上的性能不佳;现有方法需要在每次新任务学习时重新调整模型参数,这导致计算资源的浪费和在处理大量遥感数据时学习效率的降低。
技术实现思路
1、本发明实施例的目的是提供一种基于聚合能量蒸馏的遥感图像增量学习方法及装置,解决智能遥感系统在增量学习过程中存在灾难性遗忘问题,以及解决模型在新任务上的性能不佳、学习效率较低和存储成本大的问题。
2、为解决上述技术问题,本发明实施例提供如下技术方案:
3、本发明第一方面提供一种基于聚合能量蒸馏的遥感图像增量学习方法,方法包括:
4、步骤s1、获取预设遥感图像;
5、步骤s2、将预设遥感图像依次输入到卷积神经网络模型、空间通道联合表示模块和卷积神经网络模型中,提取出多个特征向量,空间通道联合表示模块为对卷积神经网络模型输出的级联特征图,确定出对应的加权特征图并对加权特征图进行调整的模块,各特征向量包括多个元素;
6、步骤s3、根据多个元素和特征向量的数量设置筛选条件,并根据筛选条件,在多个特征向量中筛选出多个预设原型特征;
7、步骤s4、将多个预设原型特征存储到记忆库中;
8、步骤s5、重复步骤s1到步骤s3,得到多个新的原型特征;
9、步骤s6、根据自适应特征蒸馏损失函数,对记忆库中的多个预设原型特征和多个新的原型特征进行处理,得到多个目标原型特征,自适应特征蒸馏损失函数包括记忆损失、校正损失、蒸馏损失和交叉熵损失;
10、步骤s7、把多个目标原型特征存储到记忆库中;
11、步骤s8、重复s1到步骤s6,提取出多个最终原型特征;
12、步骤s9、将多个最终原型特征和记忆库中的多个目标原型特征、多个预设原型特征输入到分类器中,输出特征的分类。
13、本申请第二方面提供一种基于聚合能量蒸馏的遥感图像增量学习装置,装置包括:
14、获取模块,用于获取预设遥感图像;
15、第一提取模块,用于将预设遥感图像依次输入到卷积神经网络模型、空间通道联合表示模块和卷积神经网络模型中,提取出多个特征向量,空间通道联合表示模块为对卷积神经网络模型输出的级联特征图,确定出对应的加权特征图并对加权特征图进行调整的模块,各特征向量包括多个元素;
16、筛选模块,用于根据多个元素和特征向量的数量设置筛选条件,并根据筛选条件,在多个特征向量中筛选出多个预设原型特征;
17、第一存储模块,用于将多个预设原型特征存储到记忆库中;
18、重复模块,用于重复获取模块、第一提取模块和筛选模块的操作,得到多个新的原型特征;
19、处理模块,用于根据自适应特征蒸馏损失函数,对记忆库中的多个预设原型特征和多个新的原型特征进行处理,得到多个目标原型特征,自适应特征蒸馏损失函数包括记忆损失、校正损失、蒸馏损失和交叉熵损失;
20、第二存储模块,用于把多个目标原型特征存储到记忆库中;
21、第二提取模块,用于重复获取模块、第一提取模块、筛选模块、第一存储模块、重复模块和处理模块的操作,提取出多个最终原型特征;
22、分类模块,用于将多个最终原型特征和记忆库中的多个目标原型特征、多个预设原型特征输入到分类器中,输出特征的分类。
23、相较于现有技术,本发明提供的基于聚合能量蒸馏的遥感图像增量学习方法及装置,通过获取预设遥感图像,将预设遥感图像依次输入到卷积神经网络模型、空间通道联合表示模块和卷积神经网络模型中,提取出多个特征向量,根据多个元素和特征向量的数量设置筛选条件,并根据筛选条件,在多个特征向量中筛选出多个预设原型特征,将多个预设原型特征存储到记忆库中的操作,即通过聚合能量蒸馏操作,来选择和保留区分性原型特征,这些原型特征助于在新任务学习时减少对旧任务知识的遗忘。在重复筛选特征向量的操作,得到多个新的原型特征,根据自适应特征蒸馏损失函数,对记忆库中的多个预设原型特征和多个新的原型特征进行处理,得到多个目标原型特征,存储到记忆库中,重复根据自适应特征蒸馏损失函数得到多个目标原型特征的操作,提取出多个最终原型特征,将多个最终原型特征和记忆库中的多个目标原型特征、多个预设原型特征输入到分类器中,输出特征的分类,整个的增量学习中,有效地将旧的多个目标原型特征和多个预设原型特征迁移到新的多个最终原型特征中,即将旧任务知识迁移到新任务中,实现新旧任务之间有效的知识转移,使得模型在新任务上的学习效率较高。采用自适应特征蒸馏损失函数对记忆库中的多个预设原型特征和多个新的原型特征进行处理,能够确保在新任务学习过程中,模型能够稳定地利用和传递旧任务的知识,同时适应新任务,可以充分考虑到新任务,使得模型在新任务上的性能较好,提高了模型在新任务上的泛化能力。不需要存储提取出的所有特征向量,仅将从所有特征向量中筛选出的多个预设原型特征和经自适应特征蒸馏损失函数处理,得到的多个目标原型特征进行存储,能够降低存储需求,进而减少存储成本。
1.一种基于聚合能量蒸馏的遥感图像增量学习方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述预设遥感图像依次输入到卷积神经网络模型、空间通道联合表示模块和所述卷积神经网络模型中,提取出多个特征向量,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据预设像素值、总和像素值和归一化参数,确定预设位置处的像素点的空间权重,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述空间权重调整所述空间特征图,得到加权特征图,包括:
5.根据权利要求2所述的方法,其特征在于,所述级联特征图的属性包括预设高度、预设宽度和各通道像素值,所述根据所述级联特征图的属性和所述加权特征图通道的总数,计算加权特征图中各通道的最终权重,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述各通道的稀疏性和所述加权特征图的通道总数,计算所述最终权重,包括:
7.根据权利要求1所述的方法,其特征在于,各特征向量包括多个元素,所述根据所述多个元素和特征向量的数量设置筛选条件,并根据所述筛选条件,在所述多个特征向量中筛选出多个预设原型特征,包括:
8.根据权利要求7所述的方法,其特征在于,所述根据所述各特征向量的能量和所述特征向量的数量,确定阈值参数,包括:
9.根据权利要求1所述的方法,其特征在于,所述根据自适应特征蒸馏损失函数,对所述记忆库中的所述多个预设原型特征和所述多个新的原型特征进行处理,得到多个目标原型特征,包括:
10.一种基于聚合能量蒸馏的遥感图像增量学习装置,其特征在于,所述装置包括: