本技术涉及图像处理,特别是涉及一种图像数据处理方法、装置及电子设备。
背景技术:
1、图像中包含多类图像信息,用户对不同类图像信息的感兴趣程度可能不同,例如,在对图像中前景对象进行分类的应用场景中,用户对图像中的背景区域不感兴趣。并且,不同类图像信息对图像模型的影响不同,本文中将某类图像信息对图像分类模型的影响强弱称为图像分类模型对该类图像信息的关注程度。
2、为提高分类结果的准确性,需要尽可能使得图像分类模型对用户感兴趣的图像信息的关注程度较高,同时对用户不感兴趣的图像信息的关注程度较低。为此,需要确定图像分类模型对各类图像信息的关注程度,本文将确定关注程度的过程称为图像分类模型的解释。
3、根据图像信息分类方式的不同,图像分类模型的解释分为在空间域上的解释与在频域上的解释,其中,在频域上的解释中图像信息是按照频率分类的。相关技术中,可以在待处理图像的频谱上的某些位置添加扰动,将图像分类模型根据待处理图像中频率的幅值扰动变化输出的分类结果作为模型频域敏感值,但是这种对图像数据处理方法只能衡量图像分类模型对某些添加了扰动的特定频段变化的敏感性,而不能全面地解释图像分类模型在分类待处理图像时,对频域中各频率的关注程度。
技术实现思路
1、本技术实施例的目的在于提供一种图像数据处理方法、装置及电子设备,以实现全面地解释图像分类模型在分类待处理图像时,对频域中各频率的关注程度。具体技术方案如下:
2、根据本技术的第一方面,提供了一种图像数据处理方法,所述方法包括:
3、将待处理图像输入至图像分类模型中,得到所述图像分类模型输出的对所述待处理图像的分类结果;
4、确定所述分类结果对各频率的频域梯度值;
5、根据各所述频域梯度值,展示所述图像分类模型对各频率的关注程度,所述频率的频域梯度值与所述图像分类模型对各频率的关注程度正相关。
6、在一种可能的实施例中,所述分类结果包括:类别概率,所述待处理图像为多个,所述方法还包括:
7、根据所述分类结果,从多个待处理图像中确定出所述分类类别相同的初始检测图像;
8、所述确定所述分类结果对各频率的频域梯度值,包括:
9、分别确定各所述初始检测图像的所述类别概率对各频率的初始频域梯度值;
10、针对每个频率,将所述频率的各所述初始频域梯度值加权求和,得到所述频率的频域梯度值。
11、在一种可能的实施例中,所述确定所述分类结果对各频率的频域梯度值,包括:
12、确定所述分类结果对所述待处理图像各像素的空域反向梯度值;
13、根据所述空域反向梯度值和所述待处理图像各像素在频域上的投影,确定所述分类结果对各频率的频域梯度值。
14、在一种可能的实施例中,所述根据所述空域反向梯度值和所述待处理图像各像素在频域上的投影,确定所述分类结果对各频率的频域梯度值,包括:
15、针对所述待处理图像的每个像素,计算所述像素的空域反向梯度值与待处理图像各频率在各像素的分量的乘积,得到所述像素的目标乘积;
16、将所述待处理图像中所有像素的所述目标乘积求和,得到所述分类结果对各频率的频域梯度值。
17、在一种可能的实施例中,所述根据各所述频域梯度值,展示所述图像分类模型对各频率的关注程度,包括:
18、根据所述频域梯度值得到所述待处理图像的频域显著图,所述频域显著图中各个像素点对应于各频率,每个像素点的像素值与该像素点对应的频域梯度值正相关。
19、根据本技术的第二方面,提供了一种图像数据处理装置,所述装置包括:
20、分类模块,用于将待处理图像输入至图像分类模型中,得到所述图像分类模型输出的对所述待处理图像的分类结果;
21、梯度确定模块,用于确定所述分类结果对各频率的频域梯度值;
22、解释模块,用于根据各所述频域梯度值,展示所述图像分类模型对各频率的关注程度,所述频率的频域梯度值与所述图像分类模型对各频率的关注程度正相关。
23、在一种可能的实施例中,所述分类结果包括:类别概率,所述待处理图像为多个,所述装置还包括:
24、图像确定模块,用于根据所述分类结果,从多个待处理图像中确定出所述分类类别相同的初始检测图像;
25、所述梯度确定模块,包括:
26、初始梯度确定子模块,用于分别确定各所述初始检测图像的所述类别概率对各频率的初始频域梯度值;
27、加权梯度确定子模块,用于针对每个频率,将所述频率的各所述初始频域梯度值加权求和,得到所述频率的频域梯度值。
28、在一种可能的实施例中,所述梯度确定模块,包括:
29、空域梯度确定子模块,用于确定所述分类结果对所述待处理图像各像素的空域反向梯度值;
30、频域梯度确定子模块,用于根据所述空域反向梯度值和所述待处理图像各像素在频域上的投影,确定所述分类结果对各频率的频域梯度值。
31、在一种可能的实施例中,所述频域梯度确定子模块,包括:
32、乘积确定单元,用于针对所述待处理图像的每个像素,计算所述像素的空域反向梯度值与待处理图像各频率在各像素的分量的乘积,得到所述像素的目标乘积;
33、梯度确定单元,用于将所述待处理图像中所有像素的所述目标乘积求和,得到所述分类结果对各频率的频域梯度值。
34、在一种可能的实施例中,所述解释模块,具体用于根据所述频域梯度值得到所述待处理图像的频域显著图,所述频域显著图中各个像素点对应于各频率,每个像素点的像素值与该像素点对应的频域梯度值正相关。
35、根据本技术的第三方面,提供了一种电子设备,包括:
36、存储器,用于存放计算机程序;
37、处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法。
38、根据本技术的第四方面,提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法。
39、本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一所述的方法。
40、本技术实施例有益效果:
41、本技术实施例提供的图像数据处理方法,通过图像分类模型获得待处理图像的分类结果,确定分类结果对待处理图像各频率的频域梯度值,而梯度表示某一函数在该点处的方向导数沿着该方向取得的最大值,因此,分类结果对各频率的频域梯度值,也就是分类结果在各频率处的最大变化率,而该最大变化率可以表示该频率对分类结果的影响程度,可以理解的是,某一频率的频域梯度值越大,则说分类结果在该频率处的最大变化率越大,则说明该频率对分类结果的影响程度越大。而该影响程度可以体现图像分类模型在对待处理图像分类的过程中对该频率的关注程度,频率对分类结果的影响程度越大,则说明图像分类模型在对待处理图像分类过程中对该频率的关注程度越高。可见,采用本技术实施例的上述方法,并不需要通过测试的方法人工给待处理图像的一些频率添加扰动,而是直接根据模型和图像解析计算出图像分类模型对各频率的关注程度,此方法适用场景广的同时,可以全面地解释图像分类模型在分类待处理图像时,对频域中各频率的关注程度。当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
1.一种图像数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述分类结果包括:类别概率,所述待处理图像为多个,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述确定所述分类结果对各频率的频域梯度值,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述空域反向梯度值和所述待处理图像各像素在频域上的投影,确定所述分类结果对各频率的频域梯度值,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据各所述频域梯度值,展示所述图像分类模型对各频率的关注程度,包括:
6.一种图像数据处理装置,其特征在于,所述装置包括:
7.根据权利要求6所述的装置,其特征在于,所述分类结果包括:类别概率,所述待处理图像为多个,所述装置还包括:
8.根据权利要求6所述的装置,其特征在于,所述梯度确定模块,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法。
