本申请涉及机器学习领域,具体而言,涉及一种解释结果的确定方法及装置、存储介质、电子设备、计算机程序产品。
背景技术:
1、近年来,机器学习在计算机视觉、自然语言处理、语音识别等多个领域取得了巨大的成功,应用上机器学习现在是以迅雷不及盗铃之势席卷了几乎所有科技、商业、医疗、生活领域,并且已取得了巨大的成功。
2、在工业界中,数据科学或机器学习的主要焦点是更偏向“应用”的解决复杂的现实世界至关重要的问题,而不是理论上的有效地应用这些模型于正确的数据。机器学习模型本身由算法组成,该算法试图从数据中学习潜在模式和关系,而无需硬编码固定规则。因此,解释模型如何对业务起作用总是带来一系列挑战。有一些领域的行业,特别是在保险等金融领域,数据科学家通常最终不得不适应更传统的机器学习模型(线性或者基于树的),原因是模型可解释性对于企业解释模型所采取的每个决策都非常重要。
3、通常对于大多数基于机器学习的项目,只注重结果,而不注重可解释性。但人毕竟不是机器,要说服人相信机器比人做的更好,至少在现在这个阶段,解释显得尤为重要。然而,由于机器学习缺乏可解释性,在应用方面受到许多制约。例如dnn模型,就如同一个黑盒,给予一个输入,得到一个决策结果,但是无法确切地知道它背后的决策依据以及它做出的决策是否可靠。可解释性的缺乏,将有可能给实际任务中,尤其是安全敏感任务中的许多基于dnn的应用带来严重的威胁。比如说,缺乏可解释性的自动医疗诊断模型可能给患者带来错误的治疗方案,甚至严重威胁患者的生命安全。
4、针对相关技术中,难以对一个黑盒模型的决策原理进行解释的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种解释结果的确定方法及装置、存储介质、电子设备、计算机程序产品,以至少解决难以对一个黑盒模型的决策原理进行解释的问题。
2、根据本申请实施例的一个方面,提供了一种解释结果的确定方法,包括:获取待解释样本,其中,所述待解释样本包括:目标模型、所述目标模型的目标输入数据、与所述目标输入数据对应的所述目标模型的目标输出数据;根据所述待解释样本生成目标训练样本集合,其中,所述目标训练样本集合中的每一条数据包括:所述目标模型的输入数据、与所述输入数据对应的所述目标模型的输出数据;使用所述目标训练样本集合对待训练的模型进行训练,得到解释模型,其中,所述待训练的模型为可解释模型;使用所述解释模型对所述待解释样本进行解释,得到解释结果,其中,所述解释结果用于指示所述目标模型根据所述目标输入数据得到所述目标输出数据的原因。
3、可选的,根据所述待解释样本生成目标训练样本集合,包括:在所述目标输入数据包括n个特征的数据的情况下,基于所述n个特征的特征分布与所述待解释样本生成所述目标训练样本集合,其中,所述n个特征中的第i个特征的特征分布为指定训练样本集合中的输入数据中所述第i个特征的特征分布,所述目标模型为使用所述指定训练样本集合训练得到的模型,i为大于等于1、小于等于n的正整数。
4、可选的,基于所述n个特征的特征分布与所述待解释样本生成所述目标训练样本集合,包括:通过以下方式得到所述目标训练样本集合中的一条目标训练样本:根据所述目标输入数据中第i特征的特征数据与所述第i个特征的特征分布生成第i个特征的参考数据,以得到所述n个特征的n个参考数据;根据所述n个参考数据得到参考输出数据;其中,所述目标训练样本包括:参考输入数据和所述参考输出数据;所述参考输入数据包括所述n个参考数据。
5、可选的,根据所述目标输入数据中第i特征的特征数据与所述第i个特征的特征分布生成第i个特征的参考数据,包括:根据所述第i特征的特征数据和所述第i个特征的特征分布得到所述第i个特征的采样范围;从所述第i个特征的采样范围中随机采样一条数据,得到所述第i个特征的参考数据。
6、可选的,使用所述解释模型对所述待解释样本进行解析,得到解释结果,包括:确定所述解释模型根据所述目标输入数据得到所述目标输出数据的目标原因,其中,所述解释结果包括所述目标原因。
7、可选的,使用所述解释模型对所述待解释样本进行解析,得到解释结果之后,所述方法还包括:在所述目标模型为决策模型的情况下,根据所述解释模型确定目标修改输入数据;其中,所述目标修改输入数据为修改输入数据集合中与所述目标输入数据的差异最小的数据,所述目标模型根据所述修改输入数据集合中的每条修改输入数据得到的输出数据与所述目标输出数据不相同。
8、根据本申请实施例的另一方面,还提供了一种解释结果的确定装置,包括:获取模块,用于获取待解释样本,其中,所述待解释样本包括:目标模型、所述目标模型的目标输入数据、与所述目标输入数据对应的所述目标模型的目标输出数据;生成模块,用于根据所述待解释样本生成目标训练样本集合,其中,所述目标训练样本集合中的每一条数据包括:所述目标模型的输入数据、与所述输入数据对应的所述目标模型的输出数据;训练模块,用于使用所述目标训练样本集合对待训练的模型进行训练,得到解释模型,其中,所述待训练的模型为可解释模型;解释模块,用于使用所述解释模型对所述待解释样本进行解释,得到解释结果,其中,所述解释结果用于指示所述目标模型根据所述目标输入数据得到所述目标输出数据的原因。
9、根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项解释结果的确定方法。
10、根据本申请实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项解释结果的确定方法。
11、根据本申请实施例的另一方面,还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,其中,所述计算机程序被处理器执行时实现上述任意一项解释结果的确定方法。
12、在本申请中,通过对待解析样本进行处理,生成目标训练样本集合,进而使用目标训练样本集合对一个可解释的模型进行模型训练,得到解释模型,并使用解释模型对待解释样本进行解释,得到解释结果。进而实现了对一个黑盒模型的解释能力,解决了相关技术中难以对一个黑盒模型的决策原理进行解释的问题。
1.一种解释结果的确定方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据所述待解释样本生成目标训练样本集合,包括:
3.根据权利要求2所述的方法,其特征在于,基于所述n个特征的特征分布与所述待解释样本生成所述目标训练样本集合,包括:
4.根据权利要求3所述的方法,其特征在于,根据所述目标输入数据中第i特征的特征数据与所述第i个特征的特征分布生成第i个特征的参考数据,包括:
5.根据权利要求1所述的方法,其特征在于,使用所述解释模型对所述待解释样本进行解析,得到解释结果,包括:
6.根据权利要求1所述的方法,其特征在于,使用所述解释模型对所述待解释样本进行解析,得到解释结果之后,所述方法还包括:
7.一种解释结果的确定装置,其特征在于,包括:
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的解释结果的确定。
9.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至6中任意一项所述的解释结果的确定方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,其中,所述计算机程序被处理器执行时实现权利要求1至6中任意一项所述的解释结果的确定。
