1.本申请涉及数据处理技术领域,特别涉及人工智能技术领域,具体涉及交易模式类型识别方法及装置。
背景技术:
2.在海量运维数据时代,运维数据往往存在异常、不均衡的情况,要建立交易模式需要从大量的运维数据中进行抽样,获取合适的样本数来建立交易模式。
3.在当前基于运维数据建立交易模式的方式中,需要从大量的历史交易数据中采样,然后利用采样数据建立交易模式库且由于是对历史交易数据进行采样,难以覆盖所有的交易类型,且该种方式得到的交易模式库无法自适应数据实时变化,对于新出现的交易类型往往无法识别而将新出现的交易模式识别为异常交易,导致基于历史交易模式库的交易异常识别精度低下。
技术实现要素:
4.针对现有技术中的问题,本申请提供一种交易模式类型识别方法及装置,能够有效提高交易模式类型的覆盖全面性,并能够提高交易模式类型识别精度、智能化程度及效率。
5.为解决上述技术问题,本申请提供以下技术方案:
6.第一方面,本申请提供一种交易模式类型识别方法,包括:
7.对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据;
8.将所述目标交易样本数据输入用于识别交易模式类型的分类器;
9.若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。
10.进一步地,还包括:
11.根据各个历史交易的历史交易运维数据获取各个类型的初始交易模式各自对应的交易样本数据;
12.基于各个类型的初始交易模式生成多种类型的目标交易模式,其中,所述目标交易模式的类型总数少于所述初始交易模式的类型总数;
13.应用各个所述目标交易模式各自对应的带有标签的交易样本数据,基于预设的分类算法训练得到用于识别交易模式类型的分类器,其中,所述标签用于表示对应的交易样本数据所属的目标交易模式的类型。
14.进一步地,所述根据各个历史交易的历史交易运维数据获取各个类型的初始交易模式各自对应的交易样本数据,包括:
15.获取历史交易运维数据,并对该历史交易运维数据中的各个历史交易分别进行字段降维处理,形成各自均包含有字段集指定的各个字段的各个字段集数据;
16.将除时间戳字段之外的其他字段中内容均相同的各个所述字段集数据划分至同一组中,且每组分别唯一对应一类初始交易模式;
17.分别对各类所述初始交易模式各自对应的各个所述字段集数据进行采样,得到各类所述初始交易模式各自对应的交易样本数据。
18.进一步地,所述基于各个类型的初始交易模式生成多种类型的目标交易模式,其中,所述目标交易模式的类型总数少于所述初始交易模式的类型总数,包括:
19.对各个类型的初始交易模式分别进行数值化处理,使得各个类型的初始交易模式分别以唯一数值表示;
20.应用基于密度的聚类算法,将数值化处理后的各个类型的初始交易模式输入聚类器以进行聚类处理,并将聚类后保留的初始交易模式分别确定为目标交易模式;
21.将各个类型的目标交易模式存储至预设的交易模型库中。
22.进一步地,所述应用各个所述目标交易模式各自对应的带有标签的交易样本数据,基于预设的分类算法训练得到用于识别交易模式类型的分类器,其中,所述标签用于表示对应的交易样本数据所属的目标交易模式的类型,包括:
23.将各个所述目标交易模式各自对应的所述唯一数值分别作为各个目标交易模式的分类标识;
24.为各个所述目标交易模式各自对应的交易样本数据分别标注对应的分类标识以作为标签;
25.应用标注有标签的各个所述交易样本数据,基于catboost算法训练得到用于识别交易模式类型的分类器。
26.进一步地,在所述将所述目标交易样本数据输入用于识别交易模式类型的分类器之后,还包括:
27.若所述分类器未输出对应的识别结果,则将所述目标交易样本数据对应的交易模式类型确定为新增交易模式;
28.为新增交易模式设置唯一数值以作为其分类标识,并将该新增交易模式及其分类标识存储至所述交易模型库中。
29.进一步地,还包括:
30.根据所述交易模型库中的新增交易模式重新训练所述聚类器和所述分类器,并根据对应的训练结果更新当前的聚类器和所述分类器。
31.进一步地,在所述对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据之前,还包括:
32.若接收到交易模式识别请求或在线实时更新预设的交易模式库,则在对应的时间窗口内获取当前待识别交易模式的目标交易的目标运维数据,其中,所述时间窗口基于预设时段内的新增交易模式的出现频率自动调整。
33.第二方面,本申请提供一种交易模式类型识别装置,包括:
34.降维模块,用于对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据;
35.分类模块,用于将所述目标交易样本数据输入用于识别交易模式类型的分类器;
36.识别模块,用于若所述分类器输出对应的识别结果,则将该识别结果确定为所述
目标交易的交易模式类型。
37.第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的交易模式类型识别方法。
38.第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的交易模式类型识别方法。
39.由上述技术方案可知,本申请提供的一种交易模式类型识别方法及装置,方法包括:对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据;将所述目标交易样本数据输入用于识别交易模式类型的分类器;若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性,以提高交易模式类型识别精度;通过采用用于识别交易模式类型的分类器,能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够进一步提高交易模式类型识别精度;进而能够有效提高根据交易模式类型识别结果进行交易异常识别等后续处理的准确性,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等等,能够有效提高金融机构中风控人员等技术人员的用户体验。
附图说明
40.为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
41.图1是本申请实施例中的交易模式类型识别方法的第一种举例流程示意图。
42.图2是本申请实施例中的交易模式类型识别方法的第二种举例流程示意图。
43.图3是本申请实施例中的交易模式类型识别方法中步骤010的具体实现流程示意图。
44.图4是本申请实施例中的交易模式类型识别方法中步骤020的具体实现流程示意图。
45.图5是本申请实施例中的交易模式类型识别方法中步骤030的具体实现流程示意图。
46.图6是本申请实施例中的交易模式类型识别方法的第三种举例流程示意图。
47.图7是本申请实施例中的交易模式类型识别方法的第四种举例流程示意图。
48.图8是本申请实施例中的交易模式类型识别方法的第五种举例流程示意图。
49.图9是本申请实施例中的交易模式类型识别装置的结构示意图。
50.图10是本申请实施例中的电子设备的结构示意图。
具体实施方式
51.为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
52.需要说明的是,本申请公开的交易模式类型识别方法及装置可用于人工智能及金融技术领域,也可用于除人工智能及金融技术领域之外的任意领域,本申请公开的交易模式类型识别方法及装置的应用领域不做限定。
53.要建立交易模式需要从大量的运维数据中进行抽样,获取合适的样本数来建立交易模式。例如获取一年内的历史交易数据(日志、监控数据的等),然后从这海量的数据中根据时间或者交易类型进行抽样,获取较少的交易数据,通过分析交易数据各字段特征,针对每条交易均仅选取一个具有表征意义的字段进行标识,特征字段相同的交易则为同一类交易模式,进而利用这种方法建立应用交易模式库。
54.这种方法一方面对历史数据要求较高,需要尽可能覆盖各种交易模式,另一方面当出现历史数据中没有出现过的交易模式的时候往往会一直识别为异常交易模式直到将这些新交易模式数据纳入历史数据,从而使得基于交易模式的交易异常识别精度低下。
55.基于此,本申请实施例提供一种交易模式类型识别方法,通过对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性,以提高交易模式类型识别精度;通过采用用于识别交易模式类型的分类器,能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够进一步提高交易模式类型识别精度;进而能够有效提高根据交易模式类型识别结果进行交易异常识别等后续处理的准确性,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等等,能够有效提高金融机构中风控人员等技术人员的用户体验。
56.基于上述内容,本申请还提供一种用于实现本申请一个或多个实施例中提供的交易模式类型识别方法的交易模式类型识别装置,该交易模式类型识别装置可以自行或通过第三方服务器等与工作人员持有的客户端设备之间通信连接,以接收各个客户端设备发送的针对某一目标交易的交易模式类型识别指令或请求,或者接受客户端设备发送的在线实时更新模式库指令,并在得到所述目标交易的交易模式类型后输出该目标交易的交易模式类型,具体的输出方式可以为将目标交易的交易模式类型的告知消息发送至所述客户端设备或者发送至预设的显示屏上进行显示等等。
57.在本申请的一个或多个实施例中,交易模式类型识别装置可以为设置在企业或金融机构内的总系统中的一个功能模块,交易模式类型识别装置也可以单独部署为可以与所述总系统进行信息交互的后台服务器等装置。
58.前述的交易模式类型识别装置进行交易模式类型识别的部分可以在如上述内容的服务器中执行,在另一种实际应用情形中,也可以所有的操作都在所述客户端设备中完
成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于交易模式类型识别的具体处理。
59.可以理解的是,所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(pda)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
60.上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
61.上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括tcp/ip协议、udp/ip协议、http协议、https协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的rpc协议(remote procedure call protocol,远程过程调用协议)、rest协议(representational state transfer,表述性状态转移协议)等。
62.具体通过下述各个实施例及应用实例分别进行详细说明。
63.为了提高交易模式类型的识别精度及效率,本申请实施例提供一种应用交易模式类型识别装置实现的交易模式类型识别方法,参见图1,所述交易模式类型识别方法具体包含有如下内容:
64.步骤100:对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据。
65.在本申请的一个或多个实施例中提及的交易模式是指:用运维数据来刻画交易的基本模式,比如某类交易的日志可以用某些字段进行表征。所述交易模式类型还用于判断对应的交易是否为异常交易,以根据异常交易识别结果进行后续处理,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等等。
66.其中,本申请创新性提出的交易模式由多个字段与各个字段分别对应的内容数据组成的,例如某条交易的交易模式中的字段如下:
67.#timestamp#logtype#programname#subprogramname#serinum#tradecode#returncode;其中的两个#之间均代表一个字段,且该字段显示有具体的内容数据,例如#timestamp#对应的具体内容数据可以为2021
‑
04
‑
13
‑
19:00。
68.在上述交易模式的举例中,timestamp表示时间戳、logtype表示日志类型、programname表示程序名称、subprogramname表示子程序名、serinum表示平台流水号、tradecode表示交易代码以及returncode表示业务返回码。
69.基于此,在本申请的一个或多个实施例中提及的字段集是指包含有根据用户指定或预先设置的各个特定的字段的集合,具体可以根据实际应用情形设置,而在本申请的一种优选举例中,字段集可以采用上述交易模式的字段,即字段集包含有:时间戳、日志类型、
程序名称、子程序名、平台流水号、交易代码和业务返回码。由此可知,本申请提及的交易模式类型识别过程中的目标交易样本数据、分类器训练过程中的字段集数据和采样后得到的交易样本数据,均是指包含有字段集中指定的上述字段的数据,目标交易样本数据、字段集数据和交易样本数据的命名方式不同,仅用于区分包含有字段集中指定的上述字段的数据的使用场景,以便于理解本方案。
70.也就是说,当一个包含有字段集中指定的上述字段的数据为:#timestamp:a1#logtype:a2#programname:a3#subprogramname:a4#serinum:a5#tradecode:a6#returncode:a7时(a1至a7仅用于替代各字段对应的内容,并非实际含义),若其为自目标交易对应的目标运维数据进行字段降维处理后得到的,则其为目标交易样本数据;若其为对历史交易运维数据中的各个历史交易分别进行字段降维处理后得到的,则其为字段集数据;若其为对各类所述初始交易模式各自对应的各个所述字段集数据进行采样后保留的,则其为交易样本数据。
71.步骤200:将所述目标交易样本数据输入用于识别交易模式类型的分类器。
72.在步骤200中,可以预先基于分类算法训练得到分类器,其中,该分类器能够专门用于识别交易样本数据的交易模式类型的原因为:在训练来分类器时,采用历史交易样本数据进行训练,且历史交易样本数据标注有用于表示其交易模式类型的标签。
73.步骤300:若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。
74.在步骤300中,若所述分类器输出内容为空的结果,则也视为该分类器并未输出识别结果。
75.在本申请的一个或多个实施例中提及的交易模式类型不同即是指交易模式不同,不同的交易模式是指:若两个样本数据中的上述字段集中的字段内容不同,这两个样本数据即分别属于不同的(或者不同类型的)交易模式,其中字段集中的字段内容不同并不考虑时间戳字段,仅考虑字段集中除时间戳之外的其他字段(即:日志类型、程序名称、子程序名、平台流水号、交易代码和业务返回码)各自对应的内容数据是否分别相同。
76.另外,在本申请中,目标交易是指在交易模式类型的识别过程中,交易模式类型识别装置在接收到交易模式识别请求或在线实时更新预设的交易模式库时要处理的被指定交易或实时交易,目标交易的表述用于区分分类器训练过程中的历史交易数据对应的交易。
77.从上述内容可知,本申请实施例提供的交易模式类型识别方法,通过对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性,以提高交易模式类型识别精度;通过采用用于识别交易模式类型的分类器,能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够进一步提高交易模式类型识别精度;进而能够有效提高根据交易模式类型识别结果进行交易异常识别等后续处理的准确性,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等
等,能够有效提高金融机构中风控人员等技术人员的用户体验。
78.为了提供一种模型训练过程,在本申请提供的交易模式类型识别方法的一个实施例,参见图2,所述交易模式类型识别方法中(例如步骤100或者步骤200之前)还具体包含有如下内容:
79.步骤010:根据各个历史交易的历史交易运维数据获取各个类型的初始交易模式各自对应的交易样本数据。
80.步骤020:基于各个类型的初始交易模式生成多种类型的目标交易模式,其中,所述目标交易模式的类型总数少于所述初始交易模式的类型总数。
81.步骤030:应用各个所述目标交易模式各自对应的带有标签的交易样本数据,基于预设的分类算法训练得到用于识别交易模式类型的分类器,其中,所述标签用于表示对应的交易样本数据所属的目标交易模式的类型。
82.从上述内容可知,本申请实施例提供的交易模式类型识别方法,通过基于各个类型的初始交易模式生成多种类型的目标交易模式,能够有效降低交易模式的类型总数,进而提高分类器训练的效率;通过信息分类器,能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够有效提高交易模式类型识别精度。
83.针对上述步骤010,为了提高根据各个历史交易的历史交易运维数据获取各个类型的初始交易模式各自对应的交易样本数据的可靠性及有效性,在本申请提供的交易模式类型识别方法的一个实施例,参见图3,所述交易模式类型识别方法中的步骤010具体包含有如下内容:
84.步骤011:获取历史交易运维数据,并对该历史交易运维数据中的各个历史交易分别进行字段降维处理,形成各自均包含有字段集指定的各个字段的各个字段集数据。
85.步骤012:将除时间戳字段之外的其他字段中内容均相同的各个所述字段集数据划分至同一组中,且每组分别唯一对应一类初始交易模式。
86.具体来说,获取海量的历史交易运维数据,并对有多个字段的历史交易运维数据进行字段降维,使得海量的历史交易运维数据中的每一条交易均对应有字段集数据,其中,字段集中包含有时间戳、日志类型、程序名称、子程序名、平台流水号、交易代码和业务返回码,进而可以利用这些字段来标识一条交易,将这些字段集数据中除了时间戳之外的其他字段中内容完全相同字段集数据为一类初始交易模式。
87.步骤013:分别对各类所述初始交易模式各自对应的各个所述字段集数据进行采样,得到各类所述初始交易模式各自对应的交易样本数据。
88.具体来说,对各个初始交易模式中的每一类初始交易模式,均分别进行采样来降低各个初始交易模式各自对应的交易数据量;进而得到每种类型的初始交易模式各自对应的交易样本数据。
89.从上述内容可知,本申请实施例提供的交易模式类型识别方法,通过对该历史交易运维数据中的各个历史交易分别进行字段降维处理,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性。
90.针对上述步骤020,为了提高基于各个类型的初始交易模式生成多种类型的目标
交易模式的可靠性及有效性,在本申请提供的交易模式类型识别方法的一个实施例,参见图4,所述交易模式类型识别方法中的步骤020具体包含有如下内容:
91.步骤021:对各个类型的初始交易模式分别进行数值化处理,使得各个类型的初始交易模式分别以唯一数值表示。
92.步骤022:应用基于密度的聚类算法,将数值化处理后的各个类型的初始交易模式输入聚类器以进行聚类处理,并将聚类后保留的初始交易模式分别确定为目标交易模式。
93.步骤023:将各个类型的目标交易模式存储至预设的交易模型库中。
94.具体来说,将选取出来的各个类型的初始交易模式进行数值化处理,使得不同类型的初始交易模式采样用不同的数值表示,以便于进行后续的聚类处理;然后利用聚类算法dbscan对数值化后的各个类型的初始交易模式进行聚类处理,得到聚类后类型数量减少的目标交易模式,从而建立包含有各个目标交易模式及各自对应的数值的交易模式库。
95.可以理解的是,各个目标交易模式及各自对应的数值由于不重复,因此可以作为各个目标交易模式各自对应的类别id(唯一标识)。也就是说,交易模式库中用于存储各个目标交易模式及各自对应的类别id。
96.从上述内容可知,本申请实施例提供的交易模式类型识别方法,通过聚类的方式将初始划分的初始交易模式进行筛选,得到后续需要精细化处理的目标交易模式,能够有效提供交易模式筛选的可靠性及有效性,以在保证后续基于目标交易模式的样本数据进行分类器训练的准确性的同时,有效降低交易模式的类型总数,进而提高分类器训练的效率。
97.针对上述步骤030,为了提高训练得到用于识别交易模式类型的分类器的可靠性及有效性,在本申请提供的交易模式类型识别方法的一个实施例,参见图5,所述交易模式类型识别方法中的步骤030具体包含有如下内容:
98.步骤031:将各个所述目标交易模式各自对应的所述唯一数值分别作为各个目标交易模式的分类标识。
99.步骤032:为各个所述目标交易模式各自对应的交易样本数据分别标注对应的分类标识以作为标签。
100.步骤033:应用标注有标签的各个所述交易样本数据,基于catboost算法训练得到用于识别交易模式类型的分类器。
101.可以理解的是,所述catboost算法是boosting族算法的一种,是在gbdt算法框架下的一种改进实现。catboost是一种基于对称决策树(oblivious trees)为基学习器实现的参数较少、支持类别型变量和高准确性的gbdt框架,主要用来高效合理地处理类别型特征,还能够减少过拟合的发生,进而提高算法的准确性和泛化能力。
102.具体来说,根据交易模式库可获知各个目标交易模式各自对应的类别id,将这些类别id作为标签分别标注各个所述目标交易模式各自对应的交易样本数据;而后应用这些被标注的交易样本数据对分类算法catboost进行训练,从而得到用于进行交易模式分类的分类器。
103.从上述内容可知,本申请实施例提供的交易模式类型识别方法,通过直接采用聚类时设置的唯一数值进行标签标注处理,能够有效提高数据标注的效率及可靠性;通过采用catboost算法作为分类算法,能够有效提高分类算法的准确率,并能够解决梯度偏差(gradient bias)以及预测偏移(prediction shift)的问题,从而减少过拟合的发生,进而
提高分类算法的准确性和泛化能力。
104.为了解决现有的交易模式类型识别方式存在的当出现历史数据中没有出现过的交易模式的时候往往会一直识别为异常交易模式的问题,在本申请提供的交易模式类型识别方法的一个实施例,参见图6,所述交易模式类型识别方法中的步骤200之后还具体包含有如下内容:
105.步骤410:若所述分类器未输出对应的识别结果,则将所述目标交易样本数据对应的交易模式类型确定为新增交易模式。
106.步骤420:为新增交易模式设置唯一数值以作为其分类标识,并将该新增交易模式及其分类标识存储至所述交易模型库中。
107.具体来说,在线实时更新模式库或者接收到针对目标交易的交易模式识别请求时,可以先获取当前的实时交易或者指定的目标交易的目标运维数据,而后将该目标运维数据包含有字段集指定字段内容的交易样本数据,然后应用训练得到的分类器对该目标交易样本数据进行分类如果未分类到历史交易模式库中任何一类别,则表示为新出现的类,并将为该目标样本数据对应的新类型交易模式赋予唯一数值作为其类别id,而后将该新类型交易数据和对应的类别id实时更新到所述交易模式库中。
108.从上述内容可知,本申请实施例提供的交易模式类型识别方法,若所述分类器未输出对应的识别结果,则将所述目标交易样本数据对应的交易模式类型确定为新增交易模式,能够解决现有的交易模式类型识别方式存在的当出现历史数据中没有出现过的交易模式的时候往往会一直识别为异常交易模式的问题,即能够进一步提高交易模式类型识别的智能化程度及适用性,进而能够有效提高交易模式类型识别精度。
109.为了进一步解决现有的交易模式类型识别方式存在的当出现历史数据中没有出现过的交易模式的时候往往会一直识别为异常交易模式的问题,在本申请提供的交易模式类型识别方法的一个实施例,参见图7,所述交易模式类型识别方法中的步骤420之后还具体包含有如下内容:
110.步骤500:根据所述交易模型库中的新增交易模式重新训练所述聚类器和所述分类器,并根据对应的训练结果更新当前的聚类器和所述分类器。
111.具体来说,可以定时根据新增的新类型交易模式在线重新训练聚类器和分类器,基于此训练结果,之后再出现该交易模式则不会识别为未知交易了。
112.从上述内容可知,本申请实施例提供的交易模式类型识别方法,能够解决现有的交易模式类型识别方式存在的当出现历史数据中没有出现过的交易模式的时候往往会一直识别为异常交易模式的问题,即能够进一步提高交易模式类型识别的智能化程度及适用性,进而能够有效提高交易模式类型识别精度。
113.为了在非必要情形下实现内存消耗的自动降低,在本申请提供的交易模式类型识别方法的一个实施例,参见图8,所述交易模式类型识别方法中的步骤100之前还具体包含有如下内容:
114.步骤001:若接收到交易模式识别请求或在线实时更新预设的交易模式库,则在对应的时间窗口内获取当前待识别交易模式的目标交易的目标运维数据,其中,所述时间窗口基于预设时段内的新增交易模式的出现频率自动调整。
115.具体来说,根据当前新出现的交易模式的频率动态调整交易模式时间窗口,因为
在生产上运维数据是交迭产生的,这会导致同一个交易的运维数据可能间隔了好几秒甚至好几分钟,因此在线实时匹配交易模式库时,本申请设置一个时间窗口来等到获取到某一交易的较为全面的目标运维数据后,再进行后续的降维及分类等处理,而该时间窗口可以人为评估一个最大时间窗口,例如3分钟等,而在本申请的一个优选方案中,还可以基于预设时段内的新增交易模式的出现频率自动调整时间窗口,如某个设置的时间窗口,若检测到新增交易模式的频率为0,则缩短该时间窗口,从而减小内存消耗,若检测到新交易模式的出现频率增大,则会同步增大时间窗口。
116.从上述内容可知,本申请实施例提供的交易模式类型识别方法,通过基于预设时段内的新增交易模式的出现频率自动调整时间窗口,能够在提供运维数据获取的全面性及可靠性的基础上,自动调整时间窗口,从而在非必要情形下实现内存消耗的自动降低,以进一步提高交易模式类型识别过程的执行可靠性。
117.从软件层面来说,为了提高交易模式类型的识别精度及效率,本申请提供一种用于执行所述交易模式类型识别方法中全部或部分内容的交易模式类型识别装置的实施例,参见图9,所述交易模式类型识别装置具体包含有如下内容:
118.降维模块10,用于对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据。
119.分类模块20,用于将所述目标交易样本数据输入用于识别交易模式类型的分类器。
120.在分类模块20中,可以预先基于分类算法训练得到分类器,其中,该分类器能够专门用于识别交易样本数据的交易模式类型的原因为:在训练来分类器时,采用历史交易样本数据进行训练,且历史交易样本数据标注有用于表示其交易模式类型的标签。
121.识别模块30,用于若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。
122.在识别模块30中,若所述分类器输出内容为空的结果,则也视为该分类器并未输出识别结果。
123.本申请提供的交易模式类型识别装置的实施例具体可以用于执行上述实施例中的交易模式类型识别方法的实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
124.从上述描述可知,本申请实施例提供的交易模式类型识别装置,通过设置降维模块10、分类模块20和识别模块30,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性,以提高交易模式类型识别精度;能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够进一步提高交易模式类型识别精度;进而能够有效提高根据交易模式类型识别结果进行交易异常识别等后续处理的准确性,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等等,能够有效提高金融机构中风控人员等技术人员的用户体验。
125.为了进一步说明本方案,本申请还提供一种交易模式类型识别方法的具体应用实
例,先基于海量运维数据,通过分析历史数据各字段特性,提取历史数据中有表征意义的字段来建立交易模式(用这些字段来标识一条交易,非唯一标识该条交易),然后通过这些字段对海量运维数据进行抽样,从而尽可能覆盖历史交易模式;在线实时运行时,用动态的时间窗口来获取实时数据,并建立交易模式,然后和交易模式库进行比对,如果是新的交易模式则自动添加为新的交易模式,如果已是历史交易模式则舍弃。通过在线实时更新模式库以及自动调整时间窗口,从而提高交易模式库的完整性和动态性,继而提高基于交易模式库的交易异常识别精度。交易模式类型识别方法的具体应用实例如下:
126.(一)分类器训练过程(可离线):
127.步骤1):获取海量的历史交易运维数据,并对有多个字段的历史交易运维数据进行字段降维,使得海量的历史交易运维数据中的每一条交易均对应有字段集数据,其中,字段集中包含有时间戳、日志类型、程序名称、子程序名、平台流水号、交易代码和业务返回码,进而可以利用这些字段来标识一条交易(如某条交易标识为:
128.#timestamp#logtype#programname#subprogramname#serinum#tradecode#returncode),将这些字段集数据中除了时间戳之外的其他字段中内容完全相同字段集数据为一类初始交易模式。
129.举例来说,若当前获取的历史交易运维数据中包含有50万条交易的运维数据,则对50万条交易的运维数据均进行字段降维处理,使得50万条交易的运维数据中的字段均只保留字段集中指定的字段。
130.而后,在50万条交易中,将字段集中除了时间戳之外的其他字段中内容完全相同的交易划分为同一类型的初始交易模式,假设最终得到900种初始交易模式。
131.步骤2):对步骤1)中得到的各个初始交易模式中的每一类初始交易模式,均分别进行采样来降低各个初始交易模式各自对应的交易数据量;进而得到每种类型的初始交易模式各自对应的交易样本数据。
132.例如,针对初始交易模式a1,假设其对应有1万条交易数据,则在其对应的1万条交易数据中进行采样,随机抽取总数等于预设的采样阈值的交易数据。其中,采样阈值可以根据数据情况选定,例如1000条等。进而得到900种初始交易模式各自对应的1000条的交易样本数据。
133.步骤3):将步骤1)中选取出来的各个类型的初始交易模式进行数值化处理,使得不同类型的初始交易模式采样用不同的数值表示,以便于进行后续的聚类处理;然后利用聚类算法dbscan对步骤2)中数值化后的各个类型的初始交易模式进行聚类处理,得到聚类后类型数量减少的目标交易模式,从而建立包含有各个目标交易模式及各自对应的数值的交易模式库。
134.可以理解的是,各个目标交易模式及各自对应的数值由于不重复,因此可以作为各个目标交易模式各自对应的类别id(唯一标识)。也就是说,交易模式库中用于存储各个目标交易模式及各自对应的类别id。
135.举例来说,对900种类型的初始交易模式进行数值化处理,例如将初始交易模式标识a1数值化为1等,而后对数值化后的初始交易模式(例如数值1至900)进行聚类处理,假设聚类后得到130个数值,则将这130个数值各自唯一对应的初始交易模式确认为目标交易模式,进而得到130种目标交易模式。
136.步骤4):根据步骤3)中得到的交易模式库可获知各个目标交易模式各自对应的类别id,将这些类别id作为标签分别标注各个所述目标交易模式各自对应的交易样本数据;而后应用这些被标注的交易样本数据对分类算法catboost进行训练,从而得到用于进行交易模式分类的分类器。
137.举例来说,将130种目标交易模式各自对应的类别id分别作为130种目标交易模式各自对应的1000条交易样本数据的标签,而后得到1000
×
130条标注后的样本数据,应用1000
×
130条标注后的样本数据对分类算法catboost进行训练,从而得到用于进行交易模式分类的分类器。
138.(二)分类器应用过程(可在线):
139.步骤5):在线实时更新模式库或者接收到针对目标交易的交易模式识别请求时,可以先基于步骤1)的方式,获取当前的实时交易或者指定的目标交易的目标运维数据,而后将该目标运维数据包含有字段集指定字段内容的交易样本数据,然后利用步骤4)中训练得到的分类器对该目标交易样本数据进行分类,如果未分类到历史交易模式库中任何一类别,则表示为新出现的类,并将为该目标样本数据对应的新类型交易模式赋予唯一数值作为其类别id,而后将该新类型交易数据和对应的类别id实时更新到所述交易模式库中,并定时根据新增的新类型交易模式在线重新训练聚类器和分类器,基于此训练结果,之后再出现该交易模式则不会识别为未知交易了。
140.步骤6):本申请还会根据当前新出现的交易模式的频率动态调整交易模式时间窗口,因为在生产上运维数据是交迭产生的,这会导致同一个交易的运维数据可能间隔了几秒甚至几分钟,因此在线实时匹配交易模式库时,本申请设置一个时间窗口来等到获取到某一交易的较为全面的目标运维数据后,再进行后续的降维及分类等处理,而该时间窗口可以人为评估一个最大时间窗口,例如3分钟等,而在本申请的一个优选方案中,还可以基于预设时段内的新增交易模式的出现频率自动调整时间窗口,如某个设置的时间窗口,若在5分钟内的新增交易模式的频率为0,则缩短该时间窗口,从而减小内存消耗,若在5分钟内检测到新交易模式的出现频率增大,则会同步增大时间窗口。
141.从硬件层面来说,为了提高交易模式类型的识别精度及效率,本申请提供一种用于实现所述交易模式类型识别方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
142.图10为本申请实施例的电子设备9600的系统构成的示意框图。如图10所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图10是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
143.在一实施例中,交易模式类型识别功能可以被集成到中央处理器中。其中,中央处理器可以被配置为进行如下控制:
144.步骤100:对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据。
145.步骤200:将所述目标交易样本数据输入用于识别交易模式类型的分类器。
146.步骤300:若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。
147.从上述描述可知,本申请实施例提供的电子设备,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性,以提高交易模式类型识别精度;能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够进一步提高交易模式类型识别精度;进而能够有效提高根据交易模式类型识别结果进行交易异常识别等后续处理的准确性,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等等,能够有效提高金融机构中风控人员等技术人员的用户体验。
148.在另一个实施方式中,交易模式类型识别装置可以与中央处理器9100分开配置,例如可以将交易模式类型识别装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现交易模式类型识别功能。
149.如图10所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图10中所示的所有部件;此外,电子设备9600还可以包括图10中没有示出的部件,可以参考现有技术。
150.如图10所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
151.其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
152.输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器,但并不限于此。
153.该存储器9140可以是固态存储器,例如,只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
154.存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
155.通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
156.基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
157.本申请的实施例还提供能够实现上述实施例中的交易模式类型识别方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的交易模式类型识别方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
158.步骤100:对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据。
159.步骤200:将所述目标交易样本数据输入用于识别交易模式类型的分类器。
160.步骤300:若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。
161.从上述描述可知,本申请实施例提供的计算机可读存储介质,使得海量运维数据能够降维成字段不单一的字段集数据,进而相较于现有技术中针对每条交易均仅选取一个具有表征意义的字段进行标识的手段,能够有效提高交易模式类型的覆盖全面性,以提高交易模式类型识别精度;能够有效提高交易模式类型识别的准确性及智能化程度,并能够有效提高交易模式类型识别过程的效率,进而能够进一步提高交易模式类型识别精度;进而能够有效提高根据交易模式类型识别结果进行交易异常识别等后续处理的准确性,例如根据交易模式类型识别结果确定目标交易是否为非正常交易来选择是否进行交易风险处理等,或者根据交易模式类型识别结果预测贷款用户的还款意愿来选择是否向贷款用户发送还款提醒消息等等,能够有效提高金融机构中风控人员等技术人员的用户体验。
162.本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
163.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
164.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
技术特征:
1.一种交易模式类型识别方法,其特征在于,包括:对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据;将所述目标交易样本数据输入用于识别交易模式类型的分类器;若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。2.根据权利要求1所述的交易模式类型识别方法,其特征在于,还包括:根据各个历史交易的历史交易运维数据获取各个类型的初始交易模式各自对应的交易样本数据;基于各个类型的初始交易模式生成多种类型的目标交易模式,其中,所述目标交易模式的类型总数少于所述初始交易模式的类型总数;应用各个所述目标交易模式各自对应的带有标签的交易样本数据,基于预设的分类算法训练得到用于识别交易模式类型的分类器,其中,所述标签用于表示对应的交易样本数据所属的目标交易模式的类型。3.根据权利要求2所述的交易模式类型识别方法,其特征在于,所述根据各个历史交易的历史交易运维数据获取各个类型的初始交易模式各自对应的交易样本数据,包括:获取历史交易运维数据,并对该历史交易运维数据中的各个历史交易分别进行字段降维处理,形成各自均包含有字段集指定的各个字段的各个字段集数据;将除时间戳字段之外的其他字段中内容均相同的各个所述字段集数据划分至同一组中,且每组分别唯一对应一类初始交易模式;分别对各类所述初始交易模式各自对应的各个所述字段集数据进行采样,得到各类所述初始交易模式各自对应的交易样本数据。4.根据权利要求2所述的交易模式类型识别方法,其特征在于,所述基于各个类型的初始交易模式生成多种类型的目标交易模式,其中,所述目标交易模式的类型总数少于所述初始交易模式的类型总数,包括:对各个类型的初始交易模式分别进行数值化处理,使得各个类型的初始交易模式分别以唯一数值表示;应用基于密度的聚类算法,将数值化处理后的各个类型的初始交易模式输入聚类器以进行聚类处理,并将聚类后保留的初始交易模式分别确定为目标交易模式;将各个类型的目标交易模式存储至预设的交易模型库中。5.根据权利要求4所述的交易模式类型识别方法,其特征在于,所述应用各个所述目标交易模式各自对应的带有标签的交易样本数据,基于预设的分类算法训练得到用于识别交易模式类型的分类器,其中,所述标签用于表示对应的交易样本数据所属的目标交易模式的类型,包括:将各个所述目标交易模式各自对应的所述唯一数值分别作为各个目标交易模式的分类标识;为各个所述目标交易模式各自对应的交易样本数据分别标注对应的分类标识以作为标签;应用标注有标签的各个所述交易样本数据,基于catboost算法训练得到用于识别交易
模式类型的分类器。6.根据权利要求4所述的交易模式类型识别方法,其特征在于,在所述将所述目标交易样本数据输入用于识别交易模式类型的分类器之后,还包括:若所述分类器未输出对应的识别结果,则将所述目标交易样本数据对应的交易模式类型确定为新增交易模式;为新增交易模式设置唯一数值以作为其分类标识,并将该新增交易模式及其分类标识存储至所述交易模型库中。7.根据权利要求6所述的交易模式类型识别方法,其特征在于,还包括:根据所述交易模型库中的新增交易模式重新训练所述聚类器和所述分类器,并根据对应的训练结果更新当前的聚类器和所述分类器。8.根据权利要求6所述的交易模式类型识别方法,其特征在于,在所述对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据之前,还包括:若接收到交易模式识别请求或在线实时更新预设的交易模式库,则在对应的时间窗口内获取当前待识别交易模式的目标交易的目标运维数据,其中,所述时间窗口基于预设时段内的新增交易模式的出现频率自动调整。9.一种交易模式类型识别装置,其特征在于,包括:降维模块,用于对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据;分类模块,用于将所述目标交易样本数据输入用于识别交易模式类型的分类器;识别模块,用于若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的交易模式类型识别方法。11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8任一项所述的交易模式类型识别方法。
技术总结
本申请实施例提供一种交易模式类型识别方法及装置,可用于人工智能技术领域,方法包括:对目标交易对应的目标运维数据进行字段降维处理,形成包含有字段集指定的各个字段的目标交易样本数据;将所述目标交易样本数据输入用于识别交易模式类型的分类器;若所述分类器输出对应的识别结果,则将该识别结果确定为所述目标交易的交易模式类型。本申请能够有效提高交易模式类型的覆盖全面性,并能够提高交易模式类型识别精度、智能化程度及效率。智能化程度及效率。智能化程度及效率。
技术研发人员:程鹏 任政 郑杰 王佳君
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:2021.04.27
技术公布日:2021/6/29
转载请注明原文地址:https://doc.8miu.com/read-13209.html