本公开的实施例涉及计算机领域,具体涉及可解释性图像特征提取方法、图像识别方法、装置与设备。
背景技术:
1、可解释性可以是指让神经网络具有清晰的符号化的内部知识表达,去匹配人类自身的知识框架。从而人们可以在语义层面对神经网络进行诊断和修改。可解释性图像特征可以用于表示图像中的重要特征,从而,可以用于优化神经网络模型。目前,对于可解释性图像特征的提取,通常采用的方式为:通过采用图像对比的方式提取出可解释性图像特征。
2、然而,采用上述方式通常会存在以下技术问题:提取出的可解释性图像特征不够全面,对模型的解释性不足,导致模型对于图像识别的准确性较低,造成模型的鲁棒性较低。
3、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开的一些实施例提出了可解释性图像特征提取方法、图像识别方法、装置、电子设备、计算机可读介质和程序产品,来解决以上背景技术部分提到的技术问题中的一项或多项。
3、第一方面,本公开的一些实施例提供了一种可解释性图像特征提取方法,该方法包括:基于样本图像数据集,生成第一样本图像数据集与第二样本图像数据集,其中,第一样本图像数据对应样本图像数据,第二样本图像数据对应样本图像数据;将上述第一样本图像数据集与上述第二样本图像数据集分别输入至预先训练的图像标签预测神经网络模型中,得到上述第一样本图像数据集对应的第一图像预测标签集与上述第二样本图像数据集对应的第二图像预测标签集;根据上述第一样本图像数据集与上述第一图像预测标签集,对第一初始可解释模型进行训练,得到第一可解释模型;根据上述第二样本图像数据集与上述第二图像预测标签集,对第二初始可解释模型进行训练,得到第二可解释模型;响应于上述第一可解释模型的概率分布与第一概率分布一致,以及上述第二可解释模型的概率分布与第二概率分布一致,根据上述样本图像数据集,提取出可解释性图像特征集。
4、可选地,上述样本图像数据集中的样本图像数据包括样本图像;以及上述基于样本图像数据集,生成第一样本图像数据集与第二样本图像数据集,包括:对于上述样本图像数据集中的每个样本图像数据,在上述样本图像数据包括的样本图像的图像向量中添加随机噪声,以生成添加后的样本图像数据作为第一中间样本图像数据;对上述样本图像数据集中的每个样本图像数据包括的样本图像进行图像变换处理,以生成变换后的样本图像数据作为第二中间样本图像数据,得到第二中间样本图像数据集;将各个第一中间样本图像数据与上述第二中间样本图像数据集分别输入至变分自编码器中,得到第一样本图像数据集与第二样本图像数据集。
5、可选地,上述根据上述第一样本图像数据集与上述第一图像预测标签集,对第一初始可解释模型进行训练,得到第一可解释模型,包括:基于上述第一样本图像数据集,对上述第一初始可解释模型进行训练,得到第一备选可解释模型;基于上述第一图像预测标签集与上述图像标签预测神经网络模型的第一概率分布,构建对应上述第一备选可解释模型的第一拟合损失函数,其中,上述第一概率分布对应上述第一图像预测标签集;基于上述第一拟合损失函数和上述第一样本图像数据集,对上述第一备选可解释模型进行训练,得到第一可解释模型。
6、可选地,上述根据上述第二样本图像数据集与上述第二图像预测标签集,对第二初始可解释模型进行训练,得到第二可解释模型,包括:基于上述第二样本图像数据集,对上述第二初始可解释模型进行训练,得到第二备选可解释模型;基于上述第二图像预测标签集与上述图像标签预测神经网络模型的第二概率分布,构建对应上述第二备选可解释模型的第二拟合损失函数,其中,上述第二概率分布对应上述第二图像预测标签集;基于上述第二拟合损失函数和上述第二样本图像数据集,对上述第二备选可解释模型进行训练,得到第二可解释模型。
7、可选地,上述根据上述样本图像数据集,提取出可解释性图像特征集,包括:对上述样本图像数据集中每个样本图像数据包括的样本图像进行主成分分析,以提取出主成分图像特征,得到主成分图像特征集;提取出上述主成分图像特征集对应的可解释性图像特征集。
8、可选地,上述方法还包括:基于上述可解释性图像特征集,对上述图像标签预测神经网络模型进行优化处理,以得到优化图像标签预测神经网络模型作为图像识别模型。
9、第二方面,本公开的一些实施例提供了一种图像识别方法,方法包括:获取待识别图像;将上述待识别图像输入至预先训练的图像识别模型,得到图像识别结果,其中,上述图像识别结果是通过如上述第一方面中可选的实现方式描述的方法生成的。
10、第三方面,本公开的一些实施例提供了一种可解释性图像特征提取装置,装置包括:获生成单元,被配置成基于样本图像数据集,生成第一样本图像数据集与第二样本图像数据集,其中,第一样本图像数据对应样本图像数据,第二样本图像数据对应样本图像数据;输入单元,被配置成将上述第一样本图像数据集与上述第二样本图像数据集分别输入至预先训练的图像标签预测神经网络模型中,得到上述第一样本图像数据集对应的第一图像预测标签集与上述第二样本图像数据集对应的第二图像预测标签集;第一训练单元,被配置成根据上述第一样本图像数据集与上述第一图像预测标签集,对第一初始可解释模型进行训练,得到第一可解释模型;第二训练单元,被配置成根据上述第二样本图像数据集与上述第二图像预测标签集,对第二初始可解释模型进行训练,得到第二可解释模型;提取单元,被配置成响应于上述第一可解释模型的概率分布与第一概率分布一致,以及上述第二可解释模型的概率分布与第二概率分布一致,根据上述样本图像数据集,提取出可解释性图像特征集。
11、可选地,上述样本图像数据集中的样本图像数据包括样本图像。
12、可选地,生成单元,被进一步配置成:对于上述样本图像数据集中的每个样本图像数据,在上述样本图像数据包括的样本图像的图像向量中添加随机噪声,以生成添加后的样本图像数据作为第一中间样本图像数据;对上述样本图像数据集中的每个样本图像数据包括的样本图像进行图像变换处理,以生成变换后的样本图像数据作为第二中间样本图像数据,得到第二中间样本图像数据集;将各个第一中间样本图像数据与上述第二中间样本图像数据集分别输入至变分自编码器中,得到第一样本图像数据集与第二样本图像数据集。
13、可选地,第一训练单元,被进一步配置成:基于上述第一样本图像数据集,对上述第一初始可解释模型进行训练,得到第一备选可解释模型;基于上述第一图像预测标签集与上述图像标签预测神经网络模型的第一概率分布,构建对应上述第一备选可解释模型的第一拟合损失函数,其中,上述第一概率分布对应上述第一图像预测标签集;基于上述第一拟合损失函数和上述第一样本图像数据集,对上述第一备选可解释模型进行训练,得到第一可解释模型。
14、可选地,第二训练单元,被进一步配置成:基于上述第二样本图像数据集,对上述第二初始可解释模型进行训练,得到第二备选可解释模型;基于上述第二图像预测标签集与上述图像标签预测神经网络模型的第二概率分布,构建对应上述第二备选可解释模型的第二拟合损失函数,其中,上述第二概率分布对应上述第二图像预测标签集;基于上述第二拟合损失函数和上述第二样本图像数据集,对上述第二备选可解释模型进行训练,得到第二可解释模型。
15、可选地,提取单元,被进一步配置成:对上述样本图像数据集中每个样本图像数据包括的样本图像进行主成分分析,以提取出主成分图像特征,得到主成分图像特征集;提取出上述主成分图像特征集对应的可解释性图像特征集。
16、可选地,装置,还包括:优化单元,被配置成基于上述可解释性图像特征集,对上述图像标签预测神经网络模型进行优化处理,以得到优化图像标签预测神经网络模型作为图像识别模型。
17、第四方面,本公开的一些实施例提供了一种图像识别装置,装置包括:获取单元,被配置成获取待识别图像;输入单元,被配置成将上述待识别图像输入至预先训练的图像识别模型,得到图像识别结果,其中,上述图像识别结果是通过如第一方面中可选的实现方式描述的方法生成的。
18、第五方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面或第二方面任一实现方式所描述的方法。
19、第六方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现上述第一方面或第二方面任一实现方式所描述的方法。
20、第七方面,本公开的一些实施例提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述第一方面或第二方面任一实现方式所描述的方法。
21、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的可解释性图像特征提取方法,提升了对模型的全局解释性,提高了模型的鲁棒性。具体来说,造成模型的鲁棒性较低的原因在于:提取出的可解释性图像特征不够全面,对模型的解释性不足,导致模型对于图像识别的准确性较低。基于此,本公开的一些实施例的可解释性图像特征提取方法,首先,基于样本图像数据集,生成第一样本图像数据集与第二样本图像数据集。由此,可以从两组不同的样本图像数据,丰富所提取的可解释性图像特征的贡献度。其次,将上述第一样本图像数据集与上述第二样本图像数据集分别输入至预先训练的图像标签预测神经网络模型中,得到上述第一样本图像数据集对应的第一图像预测标签集与上述第二样本图像数据集对应的第二图像预测标签集。由此,为提高对图像标签预测神经网络模型的全局解释性,提供了数据支持。接着,根据上述第一样本图像数据集与上述第一图像预测标签集,对第一初始可解释模型进行训练,得到第一可解释模型。然后,根据上述第二样本图像数据集与上述第二图像预测标签集,对第二初始可解释模型进行训练,得到第二可解释模型。最后,响应于上述第一可解释模型的概率分布与第一概率分布一致,以及上述第二可解释模型的概率分布与第二概率分布一致,根据上述样本图像数据集,提取出可解释性图像特征集。由此,可以提取出样本图像数据集重要的标签特征(可解释性图像特征)。从而,用于对图像标签预测神经网络模型进行全局解释性,以便于对图像标签预测神经网络模型进行优化,提升了模型的鲁棒性。
1.一种可解释性图像特征提取方法,包括:
2.根据权利要求1所述的方法,其中,所述样本图像数据集中的样本图像数据包括样本图像;以及
3.根据权利要求1所述的方法,其中,所述根据所述第一样本图像数据集与所述第一图像预测标签集,对第一初始可解释模型进行训练,得到第一可解释模型,包括:
4.根据权利要求1所述的方法,其中,所述根据所述第二样本图像数据集与所述第二图像预测标签集,对第二初始可解释模型进行训练,得到第二可解释模型,包括:
5.根据权利要求1所述的方法,其中,所述根据所述样本图像数据集,提取出可解释性图像特征集,包括:
6.根据权利要求1所述的方法,其中,所述方法还包括:
7.一种图像识别方法,包括:
8.一种可解释性图像特征提取装置,包括:
9.一种图像识别装置,包括:
10.一种电子设备,包括:
11.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-6或7中任一所述的方法。
12.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6或7中任一所述的方法。
