本申请涉及图像处理,尤其涉及一种水下图像超分辨率方法、装置、电子设备及存储介质。
背景技术:
1、视觉感知是无人勘探设备完成任务的必要技术对,以视觉主导的深海无人勘探设备在众多应用场景中需要对图像处理后进行导航决策、生物探索等场景理解。但由于深海拍摄得到的水下图像常常受能见度、光的吸收和散射以及深海无人勘探设备相对运动的影响,降低了水下图像的分辨率,导致水下图像缺乏重要的细节信息以及视觉感受较为模糊。而且,深海无人勘探设备需要具备低能耗功能这一特点,这也导致深海无人勘探设备所携带的镜头分辨率较低,进一步导致水下图像分辨率较差。
技术实现思路
1、本申请实施例的主要目的在于提出一种水下图像超分辨率方法、装置、电子设备及存储介质,以提高水下图像的分辨率。
2、为实现上述目的,本申请实施例的一方面提出了一种水下图像超分辨率方法,所述方法包括:
3、降低水下图像的分辨率,得到输入图像;
4、从所述输入图像中提取高维特征,得到第一特征图像;
5、根据所述第一特征图像与所述水下图像之间的残差确定第二特征图像;
6、对所述第二特征图像进行反卷积和重构处理,得到所述水下图像对应的超分辨率图像。
7、在一些实施例中,所述降低水下图像的分辨率,得到输入图像,包括:
8、对所述水下图像进行插值处理,以降低所述水下图像的分辨率,插值处理后得到的图像作为所述输入图像。
9、在一些实施例中,所述从所述输入图像中提取高维特征,得到第一特征图像,包括:
10、利用经过预先训练的图像恢复模型中的多个卷积层从所述输入图像中提取所述高维特征,得到所述第一特征图像;其中,所述经过预先训练的图像恢复模型中的所述卷积层达到设定层数,所述经过预先训练的图像恢复模型的计算量少于设定计算量。
11、在一些实施例中,所述利用经过预先训练的图像恢复模型中的多个卷积层从所述输入图像中提取高维特征,得到所述第一特征图像,包括:
12、利用各个所述卷积层按先后顺序依次从所述输入图像中提取所述高维特征,且每个所述卷积层提取得到的所述高维特征输入到排序在后的各个所述卷积层,最后一个所述卷积层输出所述第一特征图像。
13、在一些实施例中,所述方法还包括计算出所述设定计算量的步骤,所述计算出所述设定计算量的步骤包括:
14、根据设定计算量表达式计算出所述设定计算量;
15、所述设定计算量表达式为:
16、flops=[(ci×kw×kh)+(ci×kw×kh-1)+1]×co×w×h;
17、其中,flops表示所述设定计算量,ci和co分别表示所述经过预先训练的图像恢复模型输入通道数和输出通道数,kw和kh分别表示所述卷积层的卷积核的宽和高,w和h分别表示所述输入图像对应特征图的宽和长。
18、在一些实施例中,所述根据所述第一特征图像与所述水下图像之间的残差确定第二特征图像,包括:
19、利用所述经过预先训练的图像恢复模型中的残差层确定所述第一特征图像与所述水下图像之间的残差特征;
20、将所述残差特征与所述第一特征图像融合,得到所述第二特征图像。
21、在一些实施例中,所述对所述第二特征图像进行反卷积和重构处理,得到所述水下图像对应的超分辨率图像,包括:
22、利用所述经过预先训练的图像恢复模型中的反卷积层对所述第二特征图像进行反卷积处理,得到反卷积图像;
23、利用所述经过预先训练的图像恢复模型中的重构层对所述反卷积图像进行重构处理,得到所述水下图像对应的所述超分辨率图像。
24、为实现上述目的,本申请实施例的另一方面提出了一种水下图像超分辨率装置,所述装置包括:
25、分辨率降低单元,用于降低水下图像的分辨率,得到输入图像;
26、特征提取单元,用于从所述输入图像中提取高维特征,得到第一特征图像;
27、残差融合单元,用于根据所述第一特征图像与所述水下图像之间的残差确定第二特征图像;
28、图像超分辨率单元,用于对所述第二特征图像进行反卷积和重构处理,得到所述水下图像对应的超分辨率图像。
29、为实现上述目的,本申请实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
30、为实现上述目的,本申请实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
31、本申请实施例至少包括以下有益效果:
32、本申请通过降低水下图像的分辨率,得到输入图像;从输入图像中提取高维特征,得到第一特征图像;根据第一特征图像与水下图像之间的残差确定第二特征图像;对第二特征图像进行反卷积和重构处理,得到水下图像对应的超分辨率图像。本申请首先降低水下图像的分辨率再提取高维特征,然后第一特征图像与水下图像之间的残差确定第二特征图像,使得水下图像的细节特征得以利用,进而经过反卷积和重构处理后得到的超分辨率图像可以有较高的分辨率,包含较多水下图像的细节信息。
1.一种水下图像超分辨率方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种水下图像超分辨率方法,其特征在于,所述降低水下图像的分辨率,得到输入图像,包括:
3.根据权利要求1所述的一种水下图像超分辨率方法,其特征在于,所述从所述输入图像中提取高维特征,得到第一特征图像,包括:
4.根据权利要求3所述的一种水下图像超分辨率方法,其特征在于,所述利用经过预先训练的图像恢复模型中的多个卷积层从所述输入图像中提取高维特征,得到所述第一特征图像,包括:
5.根据权利要求3所述的一种水下图像超分辨率方法,其特征在于,所述方法还包括计算出所述设定计算量的步骤,所述计算出所述设定计算量的步骤包括:
6.根据权利要求3所述的一种水下图像超分辨率方法,其特征在于,所述根据所述第一特征图像与所述水下图像之间的残差确定第二特征图像,包括:
7.根据权利要求3所述的一种水下图像超分辨率方法,其特征在于,所述对所述第二特征图像进行反卷积和重构处理,得到所述水下图像对应的超分辨率图像,包括:
8.一种水下图像超分辨率装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。