本技术涉及模型训练的,特别是涉及一种图像复原模型训练方法、电子设备和图像复原方法。
背景技术:
1、目前,在图像模型训练过程中往往需要大量的样本图像,尤其对于图像复原模型,不但需要高质量的真值图像还需要低质量的输入图像。通过将低质量图像作为图像复原模型的输入,将高质量图像作为图像复原模型的真值,进行模型的训练。
2、然而,在实际使用过程中,相较于高质量的输入图像,低质量的输入图像的获取往往较为困难。往往需要通过人工进行分辨率的降低、打码等操作,以实现样本图像的降质,从而不但会影响低质量样本图像的生成效率,还会影响图像复原模型的训练效率。
技术实现思路
1、本技术实施例的目的在于提供一种图像复原模型训练方法、电子设备和图像复原方法,用以解决输入图像获取困难,影响图像复原模型训练效率的问题。具体技术方案如下:
2、在本技术实施例的第一方面,首先提供了一种图像复原模型训练方法,所述方法包括:
3、获取样本图像;
4、对所述样本图像进行对比度调整、清晰度调整和噪声添加,得到降质后的样本图像;
5、其中,对比度调整的过程包括:识别图像中的各像素点的平均亮度值;针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值;当该像素点的亮度值大于预设亮区保护阈值时,不对该像素点进行亮度值调整;
6、其中,清晰度调整的过程包括:通过二维高斯模型对图像进行模糊处理;随机选取双三次插值、双线性插值和区域插值中的一个,对模糊处理后的图像进行下采样;
7、其中,噪声添加的过程包括:获取第一真实噪声图像中目标区域的亮度均值;根据所述目标区域的亮度均值和预设随机噪声强度计算大噪点噪声;获取预先根据第二真实噪声图像提取到的真实噪声;在图像中添加所述大噪点噪声和所述真实噪声;
8、将所述降质后的样本图像作为图像复原模型的输入,所述样本图像作为图像复原模型的真值,对图像复原模型进行训练。
9、在一种可能的实施方式中,所述针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值,包括:
10、针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值,且大于所述平均亮度值时,则下调该像素点的亮度值;
11、当该像素点的亮度值小于预设亮区保护阈值,且小于所述平均亮度值时,则上调该像素点的亮度值。
12、在一种可能的实施方式中,所述针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值;当该像素点的亮度值大于预设亮区保护阈值时,不对该像素点进行亮度值调整,包括:
13、针对任一像素点, 通过预设公式:
14、
15、进行亮度值调整,其中,x表示任一像素点的亮度值,t表示预设亮区保护阈值,m表示平均亮度值,b表示预设系数,f(x)表示调整后的亮度值。
16、在一种可能的实施方式中,所述获取第一真实噪声图像中目标区域的亮度均值;根据所述目标区域的亮度均值和预设随机噪声强度计算大噪点噪声,包括:
17、从多个预设图像块规格集合中随机选取一种规格;
18、根据选取的规格从所述第一真实噪声图像的中识别所述目标区域中各像素点的亮度;
19、根据所述目标区域中各像素点的亮度,计算所述目标区域的亮度均值;
20、计算所述目标区域的亮度均值和所述预设随机噪声强度之和,得到所述大噪点噪声。
21、在一种可能的实施方式中,预先根据第二真实噪声图像提取到的真实噪声,包括:
22、从所述第二真实噪声图像中选取预设尺寸的图像块;
23、提取所述图像块多个通道的数值,并从各通道对应的数值中减去各通道对应的平均值,得到噪声图像块;
24、计算所述噪声图像块和预设噪声强度的乘积,得到所述真实噪声。
25、在一种可能的实施方式中,所述将所述降质后的样本图像作为图像复原模型的输入,所述样本图像作为图像复原模型的真值,对图像复原模型进行训练,包括:
26、将所述降质后的样本图像作为图像复原模型的输入图像复原模型,得到计算结果;
27、将所述样本图像作为图像复原模型的真值,根据该真值和所述计算结果,计算所述图像复原模型当前的损失;
28、根据所述当前的损失对所述图像复原模型进行调整,并返回所述将所述降质后的样本图像作为图像复原模型的输入图像复原模型,得到计算结果的步骤继续进行训练,直至当前的损失小于预设的损失阈值或达到预设迭代次数,得到训练好的图像复原模型。
29、在一种可能的实施方式中,所述二维高斯模型的模糊核尺寸为25×25,模糊核方差为[0.5,2.5]之间的随机值。
30、在一种可能的实施方式中,所述多个预设图像块规格集合,包括:[1×1, 1×2, 1×3, 2×2, 2×3, 3×3];所述预设随机噪声强度为[-0.15,0.15] 之间的随机值。
31、在本技术实施例的第二方面,提供了一种图像复原模型训练装置,所述装置包括:
32、图像获取模块,用于获取样本图像;
33、图像降质模块,用于对所述样本图像进行对比度调整、清晰度调整和噪声添加,得到降质后的样本图像;
34、其中,对比度调整的过程包括:识别图像中的各像素点的平均亮度值;针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值;当该像素点的亮度值大于预设亮区保护阈值时,不对该像素点进行亮度值调整;
35、其中,清晰度调整的过程包括:通过二维高斯模型对图像进行模糊处理;随机选取双三次插值、双线性插值和区域插值中的一个,对模糊处理后的图像进行下采样;
36、其中,噪声添加的过程包括:获取第一真实噪声图像中目标区域的亮度均值;根据所述目标区域的亮度均值和预设随机噪声强度计算大噪点噪声;获取预先根据第二真实噪声图像提取到的真实噪声;在图像中添加所述大噪点噪声和所述真实噪声;
37、模型训练模块,用于将所述降质后的样本图像作为图像复原模型的输入,所述样本图像作为图像复原模型的真值,对图像复原模型进行训练。
38、在一种可能的实施方式中,所述针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值,包括:
39、针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值,且大于所述平均亮度值时,则下调该像素点的亮度值;
40、当该像素点的亮度值小于预设亮区保护阈值,且小于所述平均亮度值时,则上调该像素点的亮度值。
41、在一种可能的实施方式中,所述针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值;当该像素点的亮度值大于预设亮区保护阈值时,不对该像素点进行亮度值调整,包括:
42、针对任一像素点, 通过预设公式:
43、
44、进行亮度值调整,其中,x表示任一像素点的亮度值,t表示预设亮区保护阈值,m表示平均亮度值,b表示预设系数,f(x)表示调整后的亮度值。
45、在一种可能的实施方式中,所述获取第一真实噪声图像中目标区域的亮度均值;根据所述目标区域的亮度均值和预设随机噪声强度计算大噪点噪声,包括:
46、从多个预设图像块规格集合中随机选取一种规格;
47、根据选取的规格从所述第一真实噪声图像的中识别所述目标区域中各像素点的亮度;
48、根据所述目标区域中各像素点的亮度,计算所述目标区域的亮度均值;
49、计算所述目标区域的亮度均值和所述预设随机噪声强度之和,得到所述大噪点噪声。
50、在一种可能的实施方式中,预先根据第二真实噪声图像提取到的真实噪声,包括:
51、从所述第二真实噪声图像中选取预设尺寸的图像块;
52、提取所述图像块多个通道的数值,并从各通道对应的数值中减去各通道对应的平均值,得到噪声图像块;
53、计算所述噪声图像块和预设噪声强度的乘积,得到所述真实噪声。
54、在一种可能的实施方式中,所述模型训练模块,具体用于将所述降质后的样本图像作为图像复原模型的输入图像复原模型,得到计算结果;将所述样本图像作为图像复原模型的真值,根据该真值和所述计算结果,计算所述图像复原模型当前的损失;根据所述当前的损失对所述图像复原模型进行调整,并返回所述将所述降质后的样本图像作为图像复原模型的输入图像复原模型,得到计算结果的步骤继续进行训练,直至当前的损失小于预设的损失阈值或达到预设迭代次数,得到训练好的图像复原模型。
55、在一种可能的实施方式中,所述二维高斯模型的模糊核尺寸为25×25,模糊核方差为[0.5,2.5]之间的随机值。
56、在一种可能的实施方式中,所述多个预设图像块规格集合,包括:[1×1, 1×2, 1×3, 2×2, 2×3, 3×3];所述预设随机噪声强度为[-0.15,0.15] 之间的随机值。
57、在本技术实施例的第三方面,提供了一种图像复原方法,所述方法包括:
58、获取待复原图像;
59、将所述待复原图像输入训练好的图像复原模型,得到复原后的图像,其中,所述训练好的图像复原模型是通过上述任一所述的方法训练得到的。
60、在本技术实施例的第四方面,提供了一种电子设备,包括:
61、存储器,用于存放计算机程序;
62、处理器,用于执行存储器上所存放的程序时,实现上述任一所述的图像复原模型训练方法或图像复原方法。
63、在本技术实施例的第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的图像复原模型训练方法或图像复原方法。
64、本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的图像复原模型训练方法或图像复原方法。
65、本技术实施例有益效果:
66、本技术实施例提供的一种图像复原模型训练方法、电子设备和图像复原方法,该方法包括:获取样本图像;对所述样本图像进行对比度调整、清晰度调整和噪声添加,得到降质后的样本图像;其中,对比度调整的过程包括:识别图像中的各像素点的平均亮度值;针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值;当该像素点的亮度值大于预设亮区保护阈值时,不对该像素点进行亮度值调整;其中,清晰度调整的过程包括:通过二维高斯模型对图像进行模糊处理;随机选取双三次插值、双线性插值和区域插值中的一个,对模糊处理后的图像进行下采样;其中,噪声添加的过程包括:获取第一真实噪声图像中目标区域的亮度均值;根据所述目标区域的亮度均值和预设随机噪声强度计算大噪点噪声;获取预先根据第二真实噪声图像提取到的真实噪声;在图像中添加所述大噪点噪声和所述真实噪声;将所述降质后的样本图像作为图像复原模型的输入,所述样本图像作为图像复原模型的真值,对图像复原模型进行训练。可见,通过本技术实施例的方案,可以在获取样本图像之后,通过对样本图像进行对比度调整、清晰度调整和噪声添加,得到降质后的样本图像,从而将降质后的样本图像作为图像复原模型的输入,将样本图像作为图像复原模型的真值,对图像复原模型进行训练,解决输入图像获取困难影响图像复原模型训练效率的问题。
67、当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
1.一种图像复原模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值,包括:
3.根据权利要求1所述的方法,其特征在于,所述针对任一像素点,当该像素点的亮度值小于预设亮区保护阈值时,根据预设对比度调整强度、所述平均亮度值、该像素点的亮度值调整该像素点的亮度值;当该像素点的亮度值大于预设亮区保护阈值时,不对该像素点进行亮度值调整,包括:
4.根据权利要求1所述的方法,其特征在于,所述获取第一真实噪声图像中目标区域的亮度均值;根据所述目标区域的亮度均值和预设随机噪声强度计算大噪点噪声,包括:
5.根据权利要求1所述的方法,其特征在于,预先根据第二真实噪声图像提取到的真实噪声,包括:
6.根据权利要求1所述的方法,其特征在于,所述将所述降质后的样本图像作为图像复原模型的输入,所述样本图像作为图像复原模型的真值,对图像复原模型进行训练,包括:
7.根据权利要求1所述的方法,其特征在于,所述二维高斯模型的模糊核尺寸为25×25,模糊核方差为[0.5,2.5]之间的随机值。
8.根据权利要求4所述的方法,其特征在于,所述多个预设图像块规格集合,包括:[1×1, 1×2, 1×3, 2×2, 2×3, 3×3];所述预设随机噪声强度为[-0.15,0.15] 之间的随机值。
9.一种图像复原方法,其特征在于,所述方法包括:
10.一种电子设备,其特征在于,包括:
