本技术涉及人工智能，特别是涉及一种模型检验方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术：
1、随着互联网与信息技术的发展，大量的数据中心均使用云平台运行对应的应用程序，并且云平台中存储了大量日志与警告。业界常使用机器学习等方法构建人工智能运维aiops（artificial intelligence for it operations）模型，通过历史数据预测设备是否会发生故障或性能问题，实现事件分类和问题诊断。
2、aiops对应的模型可以多种不同算法的预测模型，但对于同一数据集，不同的预测模型的解释逻辑可能不一致的。即不同模型的特征重要性排序可能不一致。此外，即使是相同算法的预测模型，在训练完成后的解释逻辑也可能不一致。使用不同时间段的数据集训练该模型，同样可能导致预测模型的解释逻辑不一致。基于此，当各预测模型间的解释逻辑存在巨大差异时，运维人员不知道哪种预测模型更加稳定和可靠，导致运维人员无法从多种预测模型中选取稳定且可靠的预测模型作为aiops模型。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够选取稳定且可靠的预测模型的模型检验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本技术提供了一种模型检验方法。所述方法包括：
3、基于第一模型集中各模型之间的解释相似性，确定待检验模型的第一解释相似性；所述第一模型集为基于多组随机因素和目标训练样本对所述待检验模型训练得到的多个模型；所述随机因素包括学习器随机种子、超参数和数据采样；所述解释相似性是基于各所述模型的贡献度序列确定的；所述贡献度序列用于表示所述模型中各特征的重要程度；
4、在第二模型集中进行筛选，得到高效果模型，并基于所述高效果模型确定所述待检验模型的第二解释相似性；所述第二模型集为通过所述目标训练样本对各不同算法的所述待检验模型训练得到的多个模型；
5、基于第三模型集中各模型之间的解释相似性，确定所述待检验模型的第三解释相似性；所述第三模型集为基于多种预设时间序列训练算法和所述目标训练样本，对所述待检验模型训练得到的多个模型；
6、根据各所述待检验模型对应的所述第一解释相似性、所述第二解释相似性和所述第三解释相似性，从各所述待检验模型中确定通过检验的目标模型。
7、在其中一个实施例中，所述基于第一模型集中各模型之间的解释相似性，确定待检验模型的第一解释相似性，包括：
8、使用预设控制变量处理后的多组随机因素对待检验模型进行训练，得到所述待检验模型对应的第一模型集；所述预设控制变量用于控制每组所述随机因素中的某一因素为随机值，其余因素为预设值；
9、针对多组所述随机因素对应的第一模型集，基于当前随机因素对应的第一模型子集中各模型的贡献度序列，确定所述第一模型子集的解释相似性；
10、基于所述第一模型集中各所述第一模型子集的解释相似性，确定所述待检验模型的第一解释相似性。
11、在其中一个实施例中，所述使用预设控制变量处理后的多组随机因素对待检验模型进行训练，得到所述待检验模型对应的第一模型集，包括：
12、使用预设控制变量处理后的多组随机因素对待检验模型进行预设训练次数的训练，得到所述待检验模型对应的第一模型集；所述第一模型集包含多组模型，每组模型是多组所述随机因素对所述待检验模型进行一次训练得到的。
13、在其中一个实施例中，所述在第二模型集中进行筛选，得到高效果模型，并基于所述高效果模型确定所述待检验模型的第二解释相似性，包括：
14、基于所述目标训练样本分别对各不同算法的所述待检验模型进行训练，得到第二模型集；所述第二模型集包括各所述待检验模型分别对应的第二模型子集，每一所述第二模型子集至少包含一个模型；
15、基于所述第二模型集中各模型的评价分数，对所述第二模型集包含的各所述模型进行聚类，得到多个聚类模型簇；
16、基于各所述聚类模型簇的综合预测效果，在各所述聚类模型簇中进行筛选，得到高效果模型簇；
17、基于所述高效果模型簇包含的各模型的贡献度序列，确定各所述待检验模型的第二解释相似性。
18、在其中一个实施例中，所述基于所述高效果模型簇包含的各模型的贡献度序列，确定各所述待检验模型的第二解释相似性，包括：
19、将所述高效果模型簇中包含的模型，按照所述模型对应的算法进行分类，得到多个不同算法分别对应的第三模型子集；
20、针对每一所述第三模型子集，基于当前模型子集中包含的各模型的贡献度序列，以及其他模型子集中包含的各模型的贡献度序列，确定当前模型子集中包含的各模型的解释相似性；
21、基于所述当前模型子集中包含的各模型的解释相似性，确定所述当前模型子集对应的待检验模型的第二解释相似性。
22、在其中一个实施例中，所述基于第三模型集中各模型之间的解释相似性，确定所述待检验模型的第三解释相似性，包括：
23、基于第一时间间隔，对所述目标训练样本进行划分，得到多个训练子样本；
24、基于多种预设时间序列训练算法以及至少一个所述训练子样本，对所述待检验模型进行训练，得到第三模型集；
25、基于所述第三模型集包含的各模型的评价分数，确定各所述预设时间序列训练算法分别对应的基准模型；
26、基于各所述基准模型中的贡献度序列，以及所述第三模型集包含的各模型对应的贡献度序列，确定各所述基准模型与所述第三模型集包含的各模型之间的解释相似性；
27、基于各所述基准模型与所述第三模型集包含的各模型之间的解释相似性，确定所述待检验模型的第三解释相似性。
28、在其中一个实施例中，所述根据各所述待检验模型对应的所述第一解释相似性、所述第二解释相似性和所述第三解释相似性，从各所述待检验模型中确定通过检验的目标模型，包括：
29、获取所述的第二模型集包含的多个所述高效果模型，并确定各所述高效果模型对应的多个待检验模型为初始模型；
30、将所述初始模型对应的第一解释相似性、第二解释相似性和第三解释相似性进行加权求和，得到各所述初始模型分别对应的综合解释相似性；
31、确定所述综合解释相似性符合预设筛选条件的初始模型，为通过检验的目标模型。
32、在其中一个实施例中，所述方法还包括：
33、获取所述待检验模型对应的初始训练样本；
34、按照预设的第二时间间隔，对所述初始训练样本进行划分，得到多个目标训练样本。
35、第二方面，本技术还提供了一种模型检验装置。所述装置包括：
36、第一解释相似性确定模块，用于基于第一模型集中各模型之间的解释相似性，确定待检验模型的第一解释相似性；所述第一模型集为基于多组随机因素和目标训练样本对所述待检验模型训练得到的多个模型；所述随机因素包括学习器随机种子、超参数和数据采样；所述解释相似性是基于各所述模型的贡献度序列确定的；所述贡献度序列用于表示所述模型中各特征的重要程度；
37、第二解释相似性确定模块，用于在第二模型集中进行筛选，得到高效果模型，并基于所述高效果模型确定所述待检验模型的第二解释相似性；所述第二模型集为通过所述目标训练样本对各不同算法的所述待检验模型训练得到的多个模型；
38、第三解释相似性确定模块，用于基于第三模型集中各模型之间的解释相似性，确定所述待检验模型的第三解释相似性；所述第三模型集为基于多种预设时间序列训练算法和所述目标训练样本，对所述待检验模型训练得到的多个模型；
39、目标模型确定模块，用于根据各所述待检验模型对应的所述第一解释相似性、所述第二解释相似性和所述第三解释相似性，从各所述待检验模型中确定通过检验的目标模型。
40、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
41、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
42、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述方法的步骤。
43、上述模型检验方法、装置、计算机设备、存储介质和计算机程序产品，通过分别确定待检验模型的第一解释相似性、第二解释相似性和第三解释相似性，并根据各待检验模型的第一解释相似性、第二解释相似性和第三解释相似性，从多个待检验模型中确定通过检验的目标模型。
44、其中，第一解释相似性是通过第一模型集中各模型之间的解释相似性确定的，且第一模型集是多组随机因素对同一待检验模型训练后得到的多个模型。因此，第一模型集中各模型对应的原始模型均为同一待检验模型，第一模型集的每个模型是由不同的随机因素对同一待检验模型训练得到的。基于此，待检验模型的第一解释相似性可以表示待检验模型的内部一致性。
45、第二解释相似性是通过第二模型集中的高效果模型之间的解释相似性确定的，且第二模型集是通过目标训练样本对不同算法的待检验模型训练得到的多个模型，高效果模型为第二模型集中预测效果好的多个模型。因此，第二模型集中存在不同算法的多个原始模型，即第二模型集中各模型的训练条件相同，但是各模型的原始模型可能不同。基于此，第二模型集中高效果模型之间的解释相似性可以表示多个不同算法的待检验模型之间的解释相似性，从而分别得到每一个待检验模型对应的外部相似性，即第二解释相似性。
46、第三解释相似性是通过第三模型集中各模型之间的解释相似性确定的，且第三模型集是通过多种预设时间序列训练算法和目标训练样本对同一待检验模型训练得到的多个模型。因此，第三模型集中各模型对应的原始模型均为同一待检验模型，第三模型集的每个模型是由不同的预设时间序列训练算法对同一待检验模型训练得到的。基于此，待检验模型的第三解释相似性可以表示待检验模型的在时间上的时间一致性。
47、通过各待检验模型的内部一致性、外部一致性和时间一致性，即第一解释相似性、第二解释相似性和第三解释相似性，可以从多种维度上确定通过检验的目标模型，从而得到逻辑解释更加一致的预测模型，使得运维人员可以从多个预测模型中选取稳定且可靠的目标模型，并将目标模型作为人工智能运维aiops对应的最优模型，从而提升人工智能运维的预测稳定性。
1.一种模型检验方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于第一模型集中各模型之间的解释相似性，确定待检验模型的第一解释相似性，包括：
3.根据权利要求2所述的方法，其特征在于，所述使用预设控制变量处理后的多组随机因素对待检验模型进行训练，得到所述待检验模型对应的第一模型集，包括：
4.根据权利要求1所述的方法，其特征在于，所述在第二模型集中进行筛选，得到高效果模型，并基于所述高效果模型确定所述待检验模型的第二解释相似性，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述高效果模型簇包含的各模型的贡献度序列，确定各所述待检验模型的第二解释相似性，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于第三模型集中各模型之间的解释相似性，确定所述待检验模型的第三解释相似性，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据各所述待检验模型对应的所述第一解释相似性、所述第二解释相似性和所述第三解释相似性，从各所述待检验模型中确定通过检验的目标模型，包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.一种模型检验装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
