本发明涉及一种基于双重估计网络的图像复原装置及方法，特点是网络同时估计清晰图像和模糊核，应用于湍流降质的飞机图像复原，属于图像处理中的图像复原领域。
背景技术：
1、大气湍流会严重降低图像质量，降低其视觉价值。图像复原提供了一种从湍流劣化图像中提取潜在清晰图像的技术。然而，这是一个典型的难题。给定一幅劣化图像，潜在图像和模糊核的配对解有无数个。
2、为了获得唯一的清晰解，传统方法使用图像先验来约束问题。受卷积神经网络(cnn)在图像处理任务中取得成功的启发，cnn被用于图像复原处理。早期的探索通常应用cnn学习模糊核，然后使用非盲法图像复原算法估计清晰图像。这些方法反映了传统的最大后验(map)图像复原框架。随后，研究人员尝试训练网络直接从退化图像中推断出清晰图像。
3、图2为多输入多输出u-net模型的示意图，该模型处理模糊图像并生成不同尺度的去模糊图像，有效地融合了编码器和解码器之间的多尺度信息流，从而提高了去模糊性能。该模型对单幅图像去运动模糊任务非常有效。然而，目前还没有同时推断潜在清晰图像和模糊核的多输入多输出神经网络模型。本文就是在图2所示的模型基础上进行的改进优化，设计了一种针对大气湍流退化的双重估计图像复原网络。
技术实现思路
1、本发明要解决的技术问题为：针对现有图像复原方法不能充分利用模糊核信息，估计模糊核的问题，设计出了一种同时估计清晰图像和模糊核的双重估计网路。在使用相同的训练集和训练策略的情况下，该方法可以有效提高网络估计潜在清晰图像的能力。
2、本发明解决上述技术问题采用的技术方案为：
3、一种基于双重估计网络的图像复原装置，所述装置的主干网络是一个类u-net的网络结构，主干网络包含四种网络模块：编码器模块，非对称特征融合模块，解码器模块，双重估计模块；
4、其中，编码器模块由多个卷积层和残差模块构成，用于提取模糊图像与清晰图像的差异特征；
5、非对称特征融合模块用于将不同尺度下编码器模块提取的特征进行融合作为非底层尺度解码器模块的部分输入；
6、解码器模块用于获得编码器模块学习到的模糊与清晰图像的差异特征；
7、双重估计模块的输入为解码器输出和当前尺寸下的模糊图像，输出为当前尺寸下清晰图像的估计值。
8、本发明还提出一种基于双重估计网络的图像复原方法，所述方法包括以下步骤，
9、步骤1：对公开的数据集fgvc-aircraft中每张图片分别进行下采样，下采样比率为整数，下采样率定义为使得每张图片的最小长度或宽度大于256但小于512，即下采样率[]代表向下取整，m和n分别代表图像的长和宽，将生成的下采样图像分类，分为训练集和测试集，训练集包含十分之九的图像，测试集包含剩下的十分之一图像，采用冯-卡尔曼统计相屏模型设置不同的d/r0比率生成500张图像尺寸为256×256的模糊核图像，其中d表示孔径直径，r0表示大气的相干直径，生成共n个湍流降质模糊核，冯-卡尔曼统计相屏模型生成的，具体定义如下：
10、h(x,y)＝|f-1{a(u,v)ejω(u,v)}|2
11、其中，h(x，y)是大气湍流模糊核函数，a(u，v)是成像系统的瞳孔函数，w(u，v)是随机相位屏蔽函数，f-1代表反傅里叶变换，j是虚数单位；
12、同样地，将生成的模糊核图像分类，分为训练集和测试集，训练集包含十分之九模糊核图像，测试集包含剩下的十分之一；训练时，随机选取训练集的输入图像，并对其进行随机块选取，得到256×256的图像块，与从模糊核训练集中随机选取的模糊核进行卷积生成模糊图像，模糊图像作为输入送入基于双重估计网络的第一层编码器模块，对应的清晰图像和模糊核作为双重估计模块的标签；
13、步骤2：构建基于模板更新的双重估计网络，所述双重估计网络包含四个卷积网络结构：编码器模块，非对称特征融合模块，解码器模块，双重估计模块；
14、其中，编码器模块由多个卷积层和残差模块构成，用于提取模糊图像与清晰图像的差异特征；
15、非对称特征融合模块用于将不同尺度下编码器模块提取的特征进行融合作为非底层尺度解码器模块的部分输入；
16、解码器模块用于获得编码器模块学习到的模糊与清晰图像的差异特征；
17、双重估计模块的输入为解码器输出和当前尺寸下的模糊图像，输出为当前尺寸下清晰图像的估计值；
18、步骤3：基于所述训练数据集对双重估计网络进行训练；根据经验傅里叶损失和维纳损失的权重参数分别设置为0.1和0.01，δ设置为0.01。损失函数为：
19、
20、其中，s代表u-net网络下采样层数，代表网络在s层估计图像，is代表s层的目标清晰图像，代表网络在s层估计模糊核，ks代表s层的目标模糊核，ns代表当前s层目标图像的像素总数，f(·)代表傅里叶变换，||·||1代表一范数，f-1代表反傅里叶变换，bs代表s层的输入模糊图像，代表f(ks)的共轭，δ为信噪比。
21、训练过程采用adam优化器，学习率为0.00001，总共训练200轮，每轮迭代训练90000张生成的模糊图像，批量处理值设置为32，每50轮迭代，学习率衰减一半；
22、步骤4：完成实际模糊图像的复原过程；加载训练好的权重参数和配置文件，配置好所述基于双重估计网络；将模糊图像送入第一层编码器模块网络，估计并输出预测清晰图像和模糊核。
23、与现有技术相比，本发明的有益效果为：在输出时，将输出模块换成双重估计模块，预测导致图像模糊的模糊核，强化网络特征提取能力及网络预测能力。加入了维纳拟合损失，减少噪声对网络预测能力的影响，提升网络对图像本征信息的学习能力。本发明在复原图像的同时估计模糊核，有助于使用者进一步分析图像模糊信息并判断网络复原能力，提升了复原方法复原图像的准确度和鲁棒性。本发明弥补了现有方法不能同时预测潜在清晰图像和模糊核的问题。在同样的训练数据和训练策略下，使用本发明的网络相比图2的基准网络，在测试数据集上的psnr评价指标从32.49提升到32.69。
1.一种基于双重估计网络的图像复原装置，其特征在于，所述装置的主干网络是一个类u-net的网络结构，主干网络包含四种网络模块：编码器模块，非对称特征融合模块，解码器模块，双重估计模块；
2.根据权利要求1所述的装置，其特征在于，编码器模块分为第一层编码器模块，第二层编码器模块和第三层编码器模块；
3.根据权利要求2所述的装置，其特征在于，非对称特征融合模块的输入为三层编码器模块的输出，该模块内部可以细分为第二层非对称融合模块和第一层非对称特征融合模块，其输出分别作为第二层解码器和第一层解码器的一部分，其输出通道数分别为64和32。
4.根据权利要求3所述的装置，其特征在于，解码器模块分为第一层解码器模块，第二层解码器模块和第三层解码器模块；
5.根据权利要求4所述的装置，其特征在于，双重估计模块包括第一层双重估计模块，第二层双重估计模块和第三层双重估计模块；
6.根据权利要求5所述的装置，其特征在于，双重估计网络的损失函数包括图像像素损失，图像傅里叶损失和模糊核像素损失，其定义如下：
7.根据权利要求1所述的装置，其特征在于，构建网络训练图像数据，包括模糊图像，对应的清晰图像和对应的湍流模糊核；清晰图像采用公开数据集fgvc-aircraft，其包含了包括10,200张飞机图像，共102种飞机型号，每种型号100张图像，将其中十分之九的图像用于网络训练，剩下的十分之一图像用于网络测试，湍流模糊核是采用冯-卡尔曼统计相屏模型生成的，具体定义如下：
8.一种基于双重估计网络的图像复原方法，其特征在于，所述方法包括以下步骤，
9.根据权利要求8所述的方法，其特征在于，步骤2包括，
10.根据权利要求9所述的方法，其特征在于，步骤2还包括，
11.根据权利要求10所述的方法，其特征在于，步骤2还包括，
12.根据权利要求11所述的方法，其特征在于，步骤2还包括，
13.根据权利要求12所述的方法，其特征在于，所述卷积层步长均默认设为1。
