本发明涉及图像生成,具体涉及一种拼接图像伪影去除模型构建方法及伪影去除方法。
背景技术:
1、在图像拼接领域,由于光照条件、色彩分布以及对比度的异质性,拼接图像在接缝区域往往会出现局部伪影现象,这直接影响了拼接效果的视觉质量和连续性。为了提升图像拼接的质量,使拼接结果能够在后续视觉任务中得以有效利用,需对拼接图像进行局部伪影去除。目前主要借助基于图像融合、函数优化的方法来改善局部伪影问题,以实现拼接结果的视觉连贯性和真实性。
2、目前用于伪影去除的方法主要包括基于图像融合的方法,以及基于函数优化的方法。其中,图像融合方法采用像素级别的操作,在拼接区域内平滑过渡图像像素,从而减弱或消除伪影。多频段融合、拉普拉斯金字塔融合等方法将拼接图像进行金字塔分解,然后通过加权融合或像素差分融合等策略,在不同尺度上实现平滑过渡,以提高拼接的视觉连续性。但是在一些复杂的情况下,图像融合可能无法完全消除伪影,特别是在重叠区域的颜色和亮度变化较大时。
3、而基于函数优化的拼接图像伪影去除方法是通过优化一个目标函数,调整图像的像素值或权重,以最小化伪影的影响。这种方法通常涉及到数学优化技术,例如梯度下降、共轭梯度等,以寻找最佳的调整参数。同样,在一些复杂情况下,目标函数可能存在多个局部最小值,需要谨慎选择优化方法以避免陷入局部最优解。
技术实现思路
1、针对现有技术存在的不足,本发明提出一种拼接图像伪影去除模型构建方法及伪影去除方法,可以在复杂情况下对拼接图像中的伪影进行精准去除,提升图像质量。具体技术方案如下:
2、第一方面,提供了一种拼接图像伪影去除模型构建方法,在第一方面的第一种可实现方式中,包括:
3、获取多张不同背景的图像构建起数据集;
4、通过所述数据集对用于去除拼接图像局部伪影的人工神经网络模型进行训练,得到所述拼接图像伪影去除模型,所述人工神经网络模型包括:
5、编码器,配置为对拼接图像进行下采样,该编码器包括多个不同尺度的编码模块组,所有编码模块组按照尺度大小依次连接,且分别对经过上一级提取得到的特征图进行卷积操作;
6、解码器,配置为对编码器输出的特征图进行上采样,该解码器包括多个不同尺度的解码模块组,所有解码模块组按照尺度大小依次连接,且分别对经过上一级还原得到的特征图进行反卷积操作。
7、结合第一方面的第一种可实现方式,在第一方面的第二种可实现方式中,所述人工神经网络模型还包括:
8、长短期记忆卷积模块,配置为提取所述编码器输出的特征图的时序信息和局部特征,并将提取到特征图和时序信息传递给解码器进行还原。
9、结合第一方面的第一种可实现方式,在第一方面的第三种可实现方式中,所述编码模块组包括:
10、编码卷积模块,配置为对输入的图像数据进行卷积操作,生成相应的输入特征图;
11、注意力机制模块,配置为根据注意力权重对所述输入特征图进行特征提取,生成相应的特征图。
12、结合第一方面的第三种可实现方式,在第一方面的第四种可实现方式中,所述注意力机制模块包括基于跨空间学习的多尺度注意力模块。
13、结合第一方面的第四种可实现方式,在第一方面的第五种可实现方式中,所述多尺度注意力模块包括:
14、维度拼接块,配置为对所述多尺度注意力模块中的并行分支所提取出的编码特征进行维度拼接。
15、结合第一方面的第一种可实现方式,在第一方面的第六种可实现方式中,所述编码模块组包括:
16、编码残差模块,配置为对输入编码模块组的图像数据和提取出的特征图进行残差分析,从而生成更丰富的特征图。
17、结合第一方面的第一种可实现方式,在第一方面的第七种可实现方式中,所述解码模块组包括:
18、解码残差模块,与相应的编码模块组跳跃连接,配置为根据相连编码模块组的残差分析结果对输入解码模块的特征图进行重建;
19、反卷积模块,配置为对重建的特征图进行上采样。
20、结合第一方面的第一种可实现方式,在第一方面的第八种可实现方式中,所述解码模块组还包括:
21、解码卷积模块,配置为对所述解码模块组输出的特征图进行特征提取,并将提取到的特征数据传递给所述人工神经网络模型的输出层,生成与拼接图像相对应的还原图像。
22、结合第一方面的第一种可实现方式,在第一方面的第九种可实现方式中,训练所述人工神经网络模型的损失函数包括:
23、低尺度损失函数,用于衡量生成的还原图像与目标图像在低层次上的特征差异;
24、中尺度损失函数,用于衡量生成的还原图像与目标图像在中间层次的特征差异;
25、高尺度损失函数,用于衡量生成的还原图像与目标图像在颜色、形状、结构上的差异。
26、结合第一方面的第一种可实现方式,在第一方面的第十种可实现方式中,采用像素级的均方误差函数作为所述低尺度损失函数;
27、采用感知损失函数作为所述中尺度损失函数;
28、采用结构相似性指数作为所述高尺度损失函数。
29、结合第一方面的第一种可实现方式,在第一方面的第十一种可实现方式中,获取多张不同背景的图像构建起数据集,包括:
30、将同一背景下两张连续拍摄且存在重叠区域的原始图像进行像素错位叠加,形成局部伪影图像;
31、基于局部伪影图像及相应的原始图像构建起数据集的样本。
32、第二方面,提供了一种拼接图像伪影去除方法,在第二方面的第一种可实现方式中,包括:
33、采用如第一方面的第一至十一种可实现方式中任一所述的拼接图像伪影去除模型构建方法,构建起用于去除拼接图像伪影的人工神经网络模型;
34、获取待处理拼接图像,并通过训练好的人工神经网络模型对所述待处理拼接图像进行处理,得到去除伪影的拼接图像。
35、结合第二方面的第一种可实现方式,在第二方面的第二种可实现方式中,还包括:对所述待处理拼接图像进行图像质量评估。
36、结合第二方面的第二种可实现方式,在第二方面的第三种可实现方式中,采用无参考图像质量评估模型对所述待处理拼接图像进行图像质量评估。
37、结合第二方面的第二种可实现方式,在第二方面的第四种可实现方式中,还包括:对去除伪影的拼接图像进行图像质量评估。
38、结合第二方面的第四种可实现方式,在第二方面的第五种可实现方式中,还包括:
39、根据去除伪影后的拼接图像与待处理拼接图像的图像质量评估结果确定图像质量变化情况;
40、当图像质量变化情况低于设计预期时,通过所述人工神经网络模型对去除伪影后的拼接图像继续进行处理。
41、有益效果:采用本发明的拼接图像伪影去除模型构建方法及伪影去除方法,通过深度学习方法能够更准确去除拼接图像中的局部伪影,有效提升图像质量。并且可以更有效地利用计算资源,减少了传统图像处理方法中可能产生的能耗。
1.一种拼接图像伪影去除模型构建方法,其特征在于,包括:
2.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于,所述人工神经网络模型还包括:
3.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于,所述编码模块组包括:
4.根据权利要求3所述的拼接图像伪影去除模型构建方法,其特征在于,所述注意力机制模块包括基于跨空间学习的多尺度注意力模块。
5.根据权利要求4所述的拼接图像伪影去除模型构建方法,其特征在于,所述多尺度注意力模块包括:
6.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于,所述编码模块组包括:
7.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于,所述解码模块组包括:
8.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于,所述解码模块组还包括:
9.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于,训练所述人工神经网络模型的损失函数包括:
10.根据权利要求9所述的拼接图像伪影去除模型构建方法,其特征在于:
11.根据权利要求1所述的拼接图像伪影去除模型构建方法,其特征在于:获取多张不同背景的图像构建起数据集,包括:
12.一种拼接图像伪影去除方法,其特征在于,包括:
13.根据权利要求12所述的拼接图像伪影去除方法,其特征在于,还包括:对所述待处理拼接图像进行图像质量评估。
14.根据权利要求13所述的拼接图像伪影去除方法,其特征在于,采用无参考图像质量评估模型对所述待处理拼接图像进行图像质量评估。
15.根据权利要求13所述的拼接图像伪影去除方法,其特征在于,还包括:对去除伪影的拼接图像进行图像质量评估。
16.根据权利要求15所述的拼接图像伪影去除方法,其特征在于,还包括:
