监控模型的方法、装置、电子设备和介质与流程

1.本发明涉及数据处理领域，具体而言，涉及一种监控模型的方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着人工智能的分支和实现，机器学习被广泛应用于视觉处理、语音识别、自然语言处理、数据挖掘、风险控制等领域。机器学习根据样本数据训练模型，再用模型对数据进行预测与决策。尤其结合大数据和云处理，通过网络线上部署基于机器学习的模型实现各种应用场景的数据处理、控制、传输(例如：语音识别、图像识别、数据安全、数据订阅、交互访问)等等，也越来越广泛。
3.由于模型是以特定时期的样本数据所开发的，随着时间的推移，线上模型测试的人群(测试样本)可能会发生变化，比如开发人群(开发样本)是工作白领人群，而之后模型主要应用于测试学生人群。由于不同人群样本会存在分布差异，导致稳定性差的模型就不能对新人群进行很好的区分，需要通过采集新的人群样本数据重新训练模型以更新模型。但该新的人群样本数据采集、清洗、打标签再训练的过程耗时耗力、效率低下。
4.因而，改进对线上部署的模型的稳定性的监控处理，以更高效率、更准确、更及时地控制对模型的调整。


技术实现要素：

5.针对现有技术的上述缺陷，本发明提供一种监控模型的方法、装置、电子设备及计算机可读存储介质，可以解决如何随着存在分布差异的新样本来及时高效率地更新模型的技术问题；进一步，可以解决如何在更新模型时精确定位模型需要调整的因素以准确确定根据新样本实现模型更新维护其稳定性技术问题，从而提升模型稳定性调整的监控性能、保证更新的准确、及时和高效率。
6.为了解决上述技术问题，本发明第一方面提出一种监控模型的方法，包括：根据接收的波动信息，获取被监控的模型的当前样本中各个特征的定向贡献值；将所述定向贡献值转换为定向权重偏移量，以控制对所述模型的更新。
7.根据本发明的一种优选实施方式，通过发现所述波动信息对应的类型给予的提示，接收所述波动信息；其中，所述波动信息为表示由于样本存在分布差异导致的波动指标变化；所述定向贡献值包括：特征是导致所述模型在使用时变大的正向的贡献值，或者，特征是导致所述模型在使用时结果变小的负向的贡献值。
8.根据本发明的一种优选实施方式，所述模型在使用时变大表示所述模型计算当日样本的结果比计算前一日样本的结果大；所述模型在使用时变小表示所述模型计算当日样本的结果比计算前一日样本的结果小。其中，当日样本与前一日样本是不同的样本；
9.根据本发明的一种优选实施方式，根据接收的波动信息，获取被监控的模型的当前样本中各个特征的定向贡献值，具体包括：当所述波动信息表示的波动指标变化为：波动
指标超过预先设定的阈值时，确定被监控的所述模型的出现不稳定状态；基于所述不稳定状态，获取导致所述模型计算结果变大时的当前样本每个特征所对应的正向贡献值；或者，基于所述不稳定状态，获取导致所述模型计算结果变小时的当前样本每个特征所对应的负向的贡献值。
10.根据本发明的一种优选实施方式，将所述定向贡献值转换为定向权重偏移量，具体包括：将正向的贡献值按照指定规则进行排序得到对应的各个特征的正向组实际排序值，和/或，将负向的贡献值按照同样的指定规则进行排序得到对应的各个特征的负向组实际排序值；通过所述模型中各个特征对应的基准贡献值以按照同样的指定规则进行排序，得到对应的各个特征的基准排序值；根据所述正向组实际排序值和/或负向组实际排序值，结合所述基准排序值，计算正向权重偏移量和/或负向权重偏移量。
11.根据本发明的一种优选实施方式，所述波动指标采用模型稳定度指标，当所述稳定度指标大于预设的阈值时，确定被监控的所述模型出现不稳定状态，需要执行对应的更新模型策略；所述定向贡献值为正向或负向shap值；所述定向权重偏移量为正向或负向dndps值；所述指定规则为shap值从大到小排列。
12.根据本发明的一种优选实施方式，计算正向权重偏移量和/或负向权重偏移量，具体包括：将正向的shap值按照指定规则进行排序，得到第i个特征的正向组实际排序值rank
act,i
；和/或，将负向的shap值按照所述指定规则进行排序，得到第i个特征的负向组实际排序值rank
act,i
‑
；将基准shap值按照所述指定规则进行排序，得到第i个特征的基准排序值rank
bz,i
；通过如下公式得到第i个特征的正向dndps值或负向dndps值：
[0013][0014]
其中：n为所述模型的特征总个数，rank
act,i
表示正向或负向shap值rank
act,i
或rank
act,i
‑
。
[0015]
根据本发明的一种优选实施方式，控制对所述模型的更新，具体包括：根据所述正向或负向dndps值及模型对应的更新模型的策略，控制将所述正向或负向dndps值输入到更新模型策略中，输出所述模型待调整的特征，并根据所述特征控制对所述模型进行调整，得到更新的模型。
[0016]
本发明第二方面提出一种监控模型的装置，包括：获取模块，用于根据接收的波动信息，获取被监控的模型的当前样本中各个特征的定向贡献值；控制模块，用于将所述定向贡献值转换为定向权重偏移量，以控制对所述模型的更新。
[0017]
本发明第三方面提出一种电子设备，包括：处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行前述的第一方面的方法。
[0018]
本发明第四方面提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现前述的第一方面的方法。
[0019]
本发明的一个实施方式中，通过对模型当前样本中各个特征的shap指标转化为表示正向或负向的特征在不同样本中的归一化权重偏移量d
‑
ndps(即dndps)值，定位导致模型不稳定、波动较大的原因(一个或多个特征)实现模型归因，准确地找到影响的原因或者
因素，比如相应于模型的某一个或几个特征等。由此，根据该dndps值控制对模型进行调整，以提高稳定性。改进的监控方式，能够对监控的一个或多个模型出现波动较大的情形通过正负向即定向变化的shap指标转化直接的ndps值，从而实现更准确的归因，精确地确定影响模型的特征等因素，进而，通过dndps值的计算消除了由于样本分布差异对特征权重的影响，避免了复杂繁琐的新的样本数据的获取过程和新的样本对模型的重新训练，能高效率地确定原因快速控制模型更新、调整其稳定性，有效地提升监控管理网络模型的性能、节约了人力和时间，提升了诸如分布式网络平台多个模型监控更新的效率和用户使用体验。
附图说明
[0020]
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
[0021]
图1是根据本发明的监控模型的方法的一实施例的主要流程图。
[0022]
图2是根据本发明的监控模型的装置的一实施例的功能模块架构框图。
[0023]
图3是根据本发明的一种电子设备的一示例性实施例的结构框图。
[0024]
图4是根据本发明的一个计算机可读存储介质的一个实施例的示意图。
具体实施方式
[0025]
现在将参考附图来更加全面地描述本发明的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本发明的内容更加完整，更加便于将发明构思全面地传达给本领域的技术人员。
[0026]
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。
[0027]
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
[0028]
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
[0029]
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0030]
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、
组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
[0031]
本发明的一个实施例中，对出现样本差异性分布时监控的各个线上模型中有模型波动较大的情况，通过根据正、负向定向特征归因处理，准确而高效地找到引起模型波动的因素，并控制对该模型进行调整或者说更新该模型，提升了线上监控数据处理性能。其具体对波动过大的模型的定向的特征分析确定指标的变化，精确监控对模型影响较大的特征以确定影响模型波动的原因并控制模型进行相应的调整。有助于解决提供更精准确定模型波动的影响因素的问题、进而能基于这些精准因素进行准确监控更新、无需模型重新训练，高效率、精确实现模型归因和模型更新，从而有效提升监控性能。
[0032]
下面对本发明中可能涉及的部分术语或名词在本发明的各个实施例中的含义和作用进行说明：
[0033]
线上模型：例如机器学习模型等，通常监控线上模型运行状态并进行评估、以及当模型出现不稳定、较大波动时，进行模型更新/调整其稳定性。
[0034]
监控线上模型：主要是通过周期性的观察模型评分与变量分布，计算psi指标(population stabilityindex，稳定度指标)，当psi大于某一阈值时，认为不稳定、出现较大波动，例如超过0.1这个值，或者通过周期性的利用新样本计算模型以及变量的ks(kolmogorov
‑
smirnov，模型风险区分能力评分)，当ks低于某一阈值时，认为失效。可以每天对每个模型单独监控获得相应时间下模型产生的数据。
[0035]
模型通过量：一种波动指标，模型当前的样本数量。
[0036]
稳定度指标(population stability index，psi)：一种波动指标，可衡量测试样本及开发样本的分布差异，为最常见的模型稳定度评估指标。
[0037]
shap：是python开发的一个“模型解释”包，可以解释任何机器学习模型的输出，其在合作博弈论的启发下shap构建一个加性的解释模型，所有的特征都视为“贡献者”。
[0038]
【实施例1】
[0039]
图1是根据本发明的方法的一实施例的主要流程图。如图1所示，本发明的方法至少包括如下步骤：
[0040]
步骤s1、根据接收的样本存在分布差异的波动信息，获取被监控的模型的当前样本中各个特征的shap值。
[0041]
一个实施方式中，模型的样本存在分布差异主要是模型的开发样本与测试样本之间存在差异。假设开发样本是白领人群，测试样本是兰蓝领人群，两种人群之间的特征分布会存在差异。通过监控和分析模型的波动指标来确定样本是否存在分布差异，若存在分布差异，则根据预设规则发出波动信息。
[0042]
其中，所述波动指标可以采用模型的稳定度指标psi，也可以采用与业务相关的指标，比如模型的通过量。
[0043]
一个实施方式中，波动信息可以通过预设规则根据不同的波动指标而分为不同的类型。例1：(1)若波动指标为psi绝对值，且psi绝对值波动大于第一预设波动范围，则确定该波动信息对应第一类型；该psi绝对值波动指所述模型当前psi值与所述模型的标准psi值之差；即当模型当前psi值与所述模型的标准psi值之差超出第一预设波动范围(比如超
出标准psi值的20％)时，该波动信息对应第一类型，而对于每种类型有相应的声、光、视觉等提示，即第一类型提示。(2)若波动指标为psi相对值，且psi相对值波动大于第二预设波动范围，则确定该波动信息对应第二类型；所述psi相对值波动指所述模型在第一时间段内的psi值与所述模型在第二时间段内的psi值之间的差值；比如模型在昨天的psi值与模型在前天的psi值之差超出第二预设波动范围(比如超出昨天psi值15％)，波动信息对应第二类型、具有区别与其他类型的第二类型提示。(3)若所述波动指标为业务指标，且业务指标波动大于第三预设波动范围，则确定所述波动信息对应的第三类型；所述业务指标波动指第三时间段内业务指标值与第四时间段内业务指标值之间的差值。其中，所述第三时间段可以与所述第一时间段相同，也可以不同，所述第四时间段可以与所述第二时间段相同，也可以不同，本发明不作具体限定。所述业务指标根据实际业务而定，比如风控业务，可以选择模型通过量作为业务指标。比如昨天的模型通过量与前天的模型通过量之差超出第三预设波动范围(比如超出昨天模型通过量的10％)，波动信息对应的第三类型、具有区别于其他类型的第三类型提示。
[0044]
进一步，根据波动信息的类型与模型更新(或模型调整)策略的对应关系，确定可以采用的模型更新/调整方式。
[0045]
该实施例中，预设规则、波动信息的类型与模型更新策略的对应关系可以预先配置并存储在指定位置(比如服务器中)。比如接收的波动信息从信息的提示上看是第二类型，即为当日和昨日比较导致psi超过阈值的情形，确定波动原因后按照对应的第二策略更新模型从而调整模型稳定性。
[0046]
一个实施方式中，该实施例可以通过将模型当前样本中各个特征的shap指转化为能够表示正向或负向特征在不同样本中的归一化权重偏移量的dndps值，消除样本分布差异对特征权重的影响，再根据dndps值对模型进行调整，由此，本发明的波动信息的类型与模型更新策略的对应关系是根据模型特征的dndps值配置的。在一种类型与模型更新策略的对应关系中，例如，第一类型对应的更新模型的第一策略为：比较模型第i个特征的基准shap值与dndsp值，将基准shap值与dndps值偏差大于第一阈值的特征作为待调整特征；第二类型对应的模型更新的第二策略为：比较模型第i特征在第一时间段的dndps值和第二时间段的dndps值，将第一时间段的dndps值和第二时间段的dnsp值偏差大于第二阈值的特征作为待调整特征；所述第三类型对应的模型更新第三策略为：将各个特征的dndps值按照从大到小的顺序排序，将排序前m的特征作为待调整特征。其中，第一阈值、第二阈值和第三阈值可以根据实际需要预先设置。
[0047]
一个实施方式中，对于每个预测样本，模型都产生一个预测值，shap值就是该样本中每个特征对预测值所分配到的权重(即贡献度)。具体地，可以将模型预测值载入shap包，并输出各个特征对预测值的权重，每个特征权重的取值范围为负无穷至正无穷，累加和为0
‑
1之间的概率值。例如：假设预测值为y，经计算后得到的shap值表现为特征ai与对应的权重wi的乘积，即y对应的shap值为每个特征权重乘积的总和：w1x1 w2x2
……
wixi
……
wnxn，其中，i、n为正整数，表示第几个、个数，wixi表示特征xi对预测值y的贡献是多少分。
[0048]
例1：
[0049]
监控线上模型。当接收到被监控的某个模型当日的波动信息为第二类型提示，比如波动指标为psi，其值大于了阈值0.1，表示昨天的psi与前天的psi差值超过预设范围或
者预设阈值了，具体地，可以对监控的每个单模型计算当日的预测值的平均值作为psi与前一日的预测值的平均值psi计算差值。进而，考虑采用对应的策略更新模型。
[0050]
根据该psi大于0.1的情况，计算当前shap值，比如样本中每个特征xi对预测值所分配到的权重(即贡献度)wi。可以将模型预测值载入shap包，并输出各个特征xi对预测值的权重wixi。
[0051]
进一步，确定每个特征xi权重wixi的正向或负向的表现。可以通过检测预设的基准值(例如模型对开发样本的每个特征xi的预测值)和每个预测值之间的差值来确定，由于每个预测值对应于特征xi，则可以判断差值是大于0还是小于0或等于0。如果大于0则表示模型第i特征是正向的特征即当日比前一日好，如果是小于0则表示模型第i特征是负向的特征xi
‑
，等于则不考虑，其中，i为正整数表示个数、第几个。从而得到的每个特征xi对应的shap值wixi是正向或负向的。
[0052]
步骤s2、将所述shap值转换为dndps值，以控制对所述模型的更新。
[0053]
一个实施方式中，ndps值表示特征xi(或称为第i特征)在不同样本中的归一化权重偏移量，用于消除样本分布差异对特征权重的影响。由于在转换时，每个shap值是具有定向的权重即明确为正向或负向，因而，转换后的值称为定向ndps即dndps，第一个d表示定向direction。
[0054]
一个实施方式中，将所述shap值转换为ndps值可以包括：
[0055]
第一步，将当前样本中各个特征xi的shap值(正、负权重)wixi按照指定顺序进行排序，正向、负向分别排序，得到每组第i特征即第i个特征的实际排序值rank
act,i
；正向例如rank
act,i
、负向例如rank
act,i
‑
。
[0056]
其中，可以指定顺序优选为从大到小的顺序。
[0057]
第二步，获取所述模型中各个特征的基准shap值，并将所述各个特征xi的基准shap值按照指定顺序进行排序，得到第i个特征的基准排序值rank
bz,i
；
[0058]
其中，各个特征xi的基准shap值是指模型开发样本中的各个特征xi的shap值。即将模型对开发样本的预测值载入shap包，并输出各个特征对开发样本预测值的权重。且第二步与第一步中的指定顺序相同。
[0059]
第三步，通过如下公式得到第i个特征的dndps值：
[0060][0061]
其中：n为所述模型的特征总个数。
[0062]
正向组和负向组分别各自计算获得正向dndps值dndps
i
和负向dndps值dndps
i
‑
。这样分别通过正向和负向对模型实现了评分，即正向评价和负向评价，由此可以取更精确地确定了负影响和正影响对模型出现较大波动的原因。比如当日比前一日相比预测结果为何变大了，或者为何变小了，等等，能精准确定对模型的影响因子/因素或者说特征。
[0063]
一个实施方式中，可以根据所述dndps值对所述模型进行调整。具体地，正向和负向分别都有一组dndps值。以正向组的dndps
i
为例，可以取前top60个特征xi的dndps
i
值，进一步，将各个特征xi的dndps
i
值都输入预设的对应被监控的目标模型的更新模型策略中，比如该实施例中波动信息的第二类型对应的第二策略，得到对应目标模型更新策略的待调整的特征；再对所述待调整的特征进行调整。负向组类似，不再赘述。
[0064]
本发明的实施例中，dndps值表示特征在不同样本中的归一化权重偏移量的dndps值，用以消除样本分布差异对特征权重的影响，通过定向(即正、负)区别的dndps值可以锁定导致模型不稳定的特征(如取top60个特征)，精确地确定导致目标模型预测偏大或偏小的原因(即哪些特征是导致偏大的因素、哪些又是导致偏小的因素)，定向区分方式精准确定哪些因素为影响最大。进而，通过对这些特征的调整(比如去掉这些特征、对特征重新加工等)，可以有效提高模型的稳定性，同时该定向区分的方式对模型评分波动的归因方式，在调整上也更精准，提升了整个监控处理的性能。
[0065]
本发明的该实施例，除了能够及时高效率地确定被监控模型出现较大波动的因素，尤其是模型面对的群体发生变化的情况下，快速更新模型而无需新样本重新采集和训练；进一步，基于定向，即将正向和负向的评分区别开来对模型较大波动的分别归因，能够更精确地确定影响因素，从而更准确地实现模型的稳定性调整，完成相适应的模型更新。
[0066]
【实施例2】
[0067]
类似的，相应的监控模型的装置的一个实施例，与方法相对应。如图2根据本发明的装置的一个实施例的结构框图，该装置具体可以包括：
[0068]
获取模块，用于根据接收的样本存在分布差异的波动信息，获取被监控的模型的当前样本中各个特征的shap值；具体功能参见s1的具体步骤和内容，在此不再赘述。
[0069]
控制模块，用于将所述shap值转换为dndps值，以控制对所述模型的更新；具体功能参见s2的具体步骤和内容，在此不再赘述。
[0070]
本发明的实施例中，dndps值表示特征在不同样本中的归一化权重偏移量的dndps值，用以消除样本分布差异对特征权重的影响，通过定向(即正、负)区别的dndps值可以锁定导致模型不稳定的特征(如取top60个特征)，精确地确定导致目标模型预测偏大或偏小的原因(即哪些特征是导致偏大的因素、哪些又是导致偏小的因素)，进而，通过对这些特征的调整(比如去掉这些特征、对特征从新加工等)，可以有效提高模型的稳定性，同时该定向区分的方式对模型评分波动的归因方式，在调整上也更精准，提升了整个监控处理的性能。
[0071]
本发明的该实施例，除了能够及时高效率地确定被监控模型出现较大波动的因素，尤其是模型面对的群体发生变化的情况下，快速更新模型而无需新样本重新采集和训练；进一步，基于定向，即将正向和负向的评分区别开来对模型较大波动的分别归因，能够更精确地确定影响因素，从而更准确地实现模型的稳定性调整，完成相适应的模型更新。
[0072]
【实施例3】
[0073]
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的实体形式的实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
[0074]
图3是根据本发明的一种电子设备的示例性实施例的结构框图。图3显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0075]
如图3所示，该示例性实施例的电子设备200以通用数据处理设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
[0076]
其中，所述存储单元220存储有计算机可读程序，其可以是源程序或都只读程序的
代码。所述程序可以被处理单元210执行，使得所述处理单元210执行本发明各种实施方式的步骤。例如，所述处理单元210可以执行如图1所示的步骤。
[0077]
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(rom)2203。所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0078]
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0079]
电子设备200也可以与一个或多个外部设备300(例如键盘、显示器、网络设备、蓝牙设备等)通信，使得用户能经由这些外部设备300与该电子设备200交互，和/或使得该电子设备200能与一个或多个其它数据处理设备(例如路由器、调制解调器等等)进行通信。这种通信可以通过输入/输出(i/o)接口250进行，还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)进行。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，电子设备200中可使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0080]
【实施例4】
[0081]
图4是本发明的一个计算机可读介质实施例的示意图。如图4所示，所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。当所述计算机程序被一个或多个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法。
[0082]
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台数据处理设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。
[0083]
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0084]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0085]
综上所述，本发明通过对波动过大的模型的正、负向的特征分析确定指标的变化，精确监控对模型影响较大的特征以确定影响模型波动的原因并控制模型进行相应的调整。以解决提供更精准确定模型波动的影响因素的问题进而能基于这些精准因素进行准确监控更新、无需模型重新训练，高效率、精确实现模型归因和模型更新，有效提升监控性能。
[0086]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。