本发明涉及图像识别,具体涉及基于像素聚类的与模型无关的解释方法。
背景技术:
1、图像识别技术广泛应用在自动驾驶、医疗诊断、金融分析等领域。图像识别模型的算法越精巧就越准确,其复杂性就越高。现有的图像识别模型可高效地对输入的图像实例进行识别,输出识别结果,并给出预测分数,但是不提供做出识别的决策依据,即图像识别模型本身不具备自解释的能力,这就导致图像识别模型相当于黑箱,人类无法了解模型内部的工作状态,便会质疑其可信度。
2、针对上述问题,申请号为202310512864.0的一种基于超像素的图像分类推理可靠性的归因方法给出如下解决方案:
3、从目标图像中提取超像素,对所述超像素进行随机采样,得到多个子集以及对应的掩模,并以所述多个子集作为分类模型的输入获得关于类别的预测分数;利用所述关于类别的预测分数计算各掩膜对应的权重,进而进行特征归因,获得归因图。
4、该方法具备特征定位能力,保留了超像素的大部分语义信息,实现了定位准确,但存在如下缺点:由于是随机采样超像素作为基本元素进行预测和掩膜权重计算,导致重要特征的提取比例无法得到保障,也就无法保证解释结果忠实于目标图像,即可解释性较差。因此有待于提出一种能提高图像识别模型的可解释性的解释方法。
技术实现思路
1、本发明提供基于像素聚类的与模型无关的解释方法,解决现有技术存在的可解释性差问题。
2、本发明通过以下技术方案解决上述问题:
3、基于像素聚类的与模型无关的解释方法,包括如下步骤:
4、(1)所述模型识别输入的实例,获取实例预测分数;
5、(2)对所述实例的像素矩阵进行聚类,得到各个类别;
6、对于每个类别,将所述类别的像素生成掩码,所述掩码覆盖所述实例中与所述类别对应的像素,进而得到扰动样本;
7、对于每个扰动样本,将所述扰动样本输入至所述模型,得到扰动样本的预测分数;
8、对所述实例进行超像素生成,将生成的超像素和各个扰动样本结合,得到实例扰动矩阵,所述实例扰动矩阵为当前解释;
9、(3)将所述当前解释输入至所述模型,获取所述当前解释的预测分数;如所述当前解释的预测分数小于所述实例预测分数,则将当前解释作为待穷举解释,否则执行步骤(4);
10、(4)将当前解释作为新的实例迭代执行步骤(2),每次迭代完毕后将得到的解释结果输入至所述模型,获取相应的预测分数,如当前解释的预测分数小于上一解释的预测分数则停止迭代,将所述上一解释作为待穷举解释;
11、(5)穷举法为所述待穷举解释中的超像素生成样本扰动矩阵,将穷举法列出的各个超像素组合对应的样本分别输入至模型,得到各个预测分数,将预测分数最高的超像素组合作为最终解释。
12、进一步地,在步骤(2)中,对所述实例的像素矩阵进行k-means聚类,包括如下步骤:
13、(21)将所述实例的像素矩阵中各个像素进行标准化处理,使得各个像素的坐标均值为0,方差为1;
14、(22)按预设的k值将所述实例的像素矩阵分为k组,在每组中随机选取1个像素作为初始聚类中心;
15、(23)针对每个像素,计算所述像素到各个初始聚类中心的距离,将像素分配到与之距离最近的初始聚类中心所在的组中;
16、(24)在每个新组成的组中,重新计算聚类中心,得到k个新的聚类中心;
17、(25)针对每个像素,计算所述像素到各个新的聚类中心的距离,再次将像素分配到与之最近的聚类中心所在的组中;
18、(26)迭代执行步骤(24)、(25)直至没有新的像素分配进组,得到k组像素组,即k个类别。
19、进一步地,在步骤(5)中,如所述待穷举解释中的超像素超过预设数量,则需在步骤(5)之前增加步骤(4’),以减少所述待穷举解释中的超像素数量,具体步骤为:
20、(4’1)提取所述待穷举解释中各超像素的邻接矩阵,根据所述各超像素之间的相邻关系对所述邻接矩阵进行加权计算,获取距离矩阵;
21、(4’2)采用层次聚类法对所述距离矩阵进行聚类,将权重大的超像素转换成一个簇,直至所述簇的数量在所述预设数量范围内;
22、(4’3)将各个簇作为所述待穷举解释中的新的超像素。
23、进一步地,所述预设数量为13。
24、进一步地,所述k为10。
25、进一步地,所述实例扰动矩阵的行是所述扰动样本的数量,所述实例扰动矩阵的列是所述实例中的超像素数量。
26、进一步地,步骤(5)中,穷举法生成样本扰动矩阵:
27、
28、d为样本扰动矩阵,n为所述待穷举解释中的超像素数量,d被根据(0,1)完全分配了n个超像素,di为行向量,表示所述待穷举中的各个超像素的组合方式,i的范围是1至2n。
29、与现有技术相比,具有如下特点:
30、1、以输入的实例作为原始数据进行聚类,以模型输出的预测分数作为迭代过程中判断解释是否停止的条件,通过聚类结果获取扰动样本,通过实例获取超像素,进而迭代式获取解释结果,退出迭代后穷举超像素组合,以预测分数最高的超像素组合作为最终解释结果,由于当前解释的预测分数大于上一解释的预测分数的前提下,解释与实例的相似度越低,解释中的重要特征比例就越高,解释的准确性也就越高,因此本发明“以聚类结果获取扰动样本,以实例获取超像素,以当前解释预测分数小于上一解释的预测分数作为停止迭代的判断条件”的方式,使得解释过程忠实于原始数据,且在迭代过程既降低了原始解释中超像素数量又不降低重要特征的比例,在停止迭代时的上一解释中的重要特征比例达到最高,因而保证了解释的稳定性、忠实性和可理解性,进而提高了图像识别模型的可解释性。
31、2、使用k-means聚类方法对实例的像素矩阵进行标准化、分组、重组,以不断修改聚类中心、计算像素到各聚类中心距离的方式来实现分类,高效地为扰动样本的生成提供准确的数据基础。
1.基于像素聚类的与模型无关的解释方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于像素聚类的与模型无关的解释方法,其特征在于:
3.根据权利要求1所述的基于像素聚类的与模型无关的解释方法,其特征在于:
4.根据权利要求3所述的基于像素聚类的与模型无关的解释方法,其特征在于:所述预设数量为13。
5.根据权利要求1所述的基于像素聚类的与模型无关的解释方法,其特征在于:所述k为10。
6.根据权利要求1所述的基于像素聚类的与模型无关的解释方法,其特征在于:
7.根据权利要求1所述的基于像素聚类的与模型无关的解释方法,其特征在于:
