本发明属于图像处理,尤其涉及一种高光谱图像域泛化方法和装置、系统、存储介质。
背景技术:
1、高光谱图像由高光谱传感器捕获,占据数十个甚至上百个光谱波段,其包含丰富光谱-空间信息。目前,可以广泛应用于精准农业、食品安全场景。高光谱图像分类在这些任务上起着决定性作用。随着深度学习的发展,基于深度卷积网络的高光谱图像分类已经取得了明显的进展。然而,现有的大多数方法是基于固定场景的,即训练样本与测试样本来自同一场景。受传感器、季节、天气等外界因素,遥感图像样本之间存在明显的差异,模型的泛化性能在跨场景间较固定场景具有明显的下降。为了促进遥感场景分类的发展,提出了基于域泛化方法,即不需要目标域的参与,可以实现同一类型任务一次训练多次使用的要求,较基于域适应方法具有更强的适用性和应用性。大多数域泛化方法是从多个源域中学习一个共享特征表示,这对数据集的数量具有较强的依赖性。而高光谱图像的数据收集相当费事费力,存在高光谱图像跨场景分类任务中领域泛化方法网络模型泛化能力不足的问题。
技术实现思路
1、本发明要解决的技术问题是,提供一种高光谱图像域泛化方法和装置、系统、存储介质,有效提高高光谱图像跨场景分类的精度和泛化性能。
2、为实现上述目的,本发明采用如下的技术方案:
3、一种高光谱图像域泛化方法,包括以下步骤:
4、步骤s1、根据源域高光谱图像,得到扩展域高光谱图像;
5、步骤s2、根据源域高光谱图像和扩展域高光谱图像,通过解耦处理,得到源域不变特征、源域特定特征、扩展域不变特征和扩展域特定特征;
6、步骤s3、根据域不变特征、源域特定特征、扩展域不变特征和扩展域特定特征,通过域组合进行特征重建和域交换,训练域不变特征编码器和域特定特征编码器;
7、步骤s4、将目标域高光谱图像输入到训练好的域不变特征编码器进行预测分类。
8、作为优选,步骤s1包括:
9、将源域高光谱图像输入风格转换模块的编码器,得到图像特征c;
10、对图像特征c进行随机风格转换;
11、根据图像特征c和随机风格转换后的图像特征k,通过内容损失最小化和风格损失最大化得到扩展域高光谱图像;其中,内容损失为图像特征和风格化后图像特征的欧式距离,风格损失图像特征和风格化后图像特征的均值和方差之和。
12、作为优选,步骤s2包括:
13、将源域高光谱图像xa拉成一维的第一特征向量fa;
14、将第一特征向量输入到域不变特征编码器和域特定特征编码器,提取源域不变特征和源域特定特征;
15、将扩展域高光谱图像xb拉成一维的第二特征向量fb;
16、将第二特征向量输入到域不变特征编码器和域特定特征编码器,提取扩展域不变特征、扩展域特定特征。
17、作为优选,步骤s3包括:
18、将源域不变特征ia与源域特定特征相sa结合来重建源域特征ra;
19、将扩展域不变特征ib与扩展域特定特征相结合sb来重建扩展域特征rb;
20、将源域不变特征ia与扩展域特定特征sb相结合来生成扩展域特征gb,并将gb与xb馈送到鉴别器db中;
21、将源域特定特征sa与扩展域不变特征ib相结合来生成源域样本ga,并将ga与xa馈送到鉴别器da中;
22、根据对抗损失和重构损失最小化,训练用于识别源域不变特征ia和扩展域不变特征ib的域不变特征编码器和用于识别源域特定特征相sa和扩展域特定特征sb的域特定特征编码器;其中,重构损失lrec为:;对抗损失为:,其中,表示分布函数的期望值;da、db表示鉴别器,da用于区分ga 和xa ,db用于区分gb与xb。
23、本发明还提供一种高光谱图像域泛化装置包括:
24、转换模块,用于根据源域高光谱图像,得到扩展域高光谱图像;
25、解耦模块,用于根据源域高光谱图像和扩展域高光谱图像,通过解耦处理,得到源域不变特征、源域特定特征、扩展域不变特征和扩展域特定特征;
26、训练模块,用于根据域不变特征、源域特定特征、扩展域不变特征和扩展域特定特征,通过域组合进行特征重建和域交换,训练域不变特征编码器和域特定特征编码器;
27、分类模块,用于将目标域高光谱图像输入到训练好的域不变特征编码器进行预测分类。
28、本发明还提供一种高光谱图像域泛化系统,包括:存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行高光谱图像域泛化方法。
29、本发明还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行高光谱图像域泛化方法。
30、本发明将高光谱图像的图像特征进行高效解耦,得到具有强识别能力的域不变特征,提高高光谱图像跨场景分类的精度和泛化性能;进一步,本发明将高光谱图像进行随机风格转换,实现了数据集的增广,同时避免了单源域泛化对于源域的过拟合,进而促进了高光谱图像的分类精度和泛化能力。
1.一种高光谱图像域泛化方法,其特征在于,包括以下步骤:
2.如权利要求1所述的高光谱图像域泛化方法,其特征在于,步骤s1包括:
3.如权利要求2所述的高光谱图像域泛化方法,其特征在于,步骤s2包括:
4.如权利要求3所述的高光谱图像域泛化方法,其特征在于,步骤s3包括:
5.一种高光谱图像域泛化装置,其特征在于,包括:
6.一种高光谱图像域泛化系统,其特征在于,包括:存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-4中的任一项所述的高光谱图像域泛化方法。
7.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-4中的任一项所述的高光谱图像域泛化方法。