本发明涉及人工智能、金融科技领域或其他相关,具体而言,涉及一种账户申请材料的分类方法、装置、存储介质及电子设备。
背景技术:
1、目前,对公账户申请材料分类模型,在面对新型申请材料时,需要通过新型申请材料对分类模型进行再训练,以增加对公账户申请材料分类模型的识别种类,但是直接通过新型申请材料对分类模型进行再训练,容易产生灾难性遗忘的情况,即在学习新任务或新数据时快速且彻底地忘记了之前学到的信息的情况,导致分类结果不准确。
2、因此,相关技术中,为了实现在不产生灾难性遗忘的前提下增加新的识别类别,主要采用了基于重新训练和基于旧样本回放这两种方式对分类模型进行训练。
3、重新训练的方式存在以下问题:1.在训练时间方面,每当引入新类别时,需要对整个模型进行重新训练,训练数据集包括新类别的数据以及所有旧类别的数据。随着数据量的增加,训练过程变得更加耗时,特别是在处理大型网络和大规模数据集时;2.在数据的存储需求方面,重新训练要求保留所有旧数据和新数据,随着时间的推移,所需存储的数据量会急剧增加。
4、基于旧样本回放的方式存在以下问题:1.存储旧数据的需求:在基于回放的增量学习中,需要存储旧数据的子集作为“记忆样本”。这种存储需求可能与数据隐私要求相冲突,尤其是当旧数据包含敏感或个人信息时。2.数据泄露风险:存储的记忆样本如果没有得到适当的加密和安全保护,可能面临数据泄露的风险。一旦发生安全漏洞,敏感数据可能被未授权的第三方访问。3.用户同意的问题:用户提供数据时可能未明确同意其数据被长期存储和反复使用。在基于回放的学习中,旧数据的再利用需要考虑用户的隐私意愿和同意。
5、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本发明实施例提供了一种账户申请材料的分类方法、装置、存储介质及电子设备,以至少解决相关技术中增加新的分类类别后,采用新训练样本对模型进行增量训练,由于模型存在灾难性遗忘的情况,导致模型对申请材料进行分类的分类结果不准确的技术问题。
2、根据本发明实施例的一个方面,提供了一种账户申请材料的分类方法,包括:获取账户申请材料的图片,得到待分类图片,其中,所述账户申请材料包括:目标企业的对公账户的申请材料;将所述待分类图片输入目标分类模型,输出所述账户申请材料的分类结果,其中,所述目标分类模型包括:基于伪样本和目标训练样本对原始分类模型进行增量训练得到模型,所述伪样本包括:利用目标扩散模型生成的历史图片以及所述历史图片的分类信息,所述历史图片包括:历史时间段内对公账户的申请材料的图片,所述目标训练样本包括:m个第一企业的对公账户的申请材料的图片以及所述m个第一企业的对公账户的申请材料的分类信息,m个第一企业的对公账户的申请时刻在所述历史时间段之后且在所述目标企业的对公账户的申请时刻之前,m为正整数。
3、进一步地,所述目标分类模型关联的分类类别的数量大于所述原始分类模型关联的分类类别的数量,所述目标分类模型通过以下方式得到:获取所述伪样本和所述目标训练样本;将所述伪样本和所述目标训练样本进行合并,得到增量训练样本;基于所述增量训练样本对所述原始分类模型进行再训练,并在所述原始分类模型关联的损失函数满足预设条件的情况下,确定所述目标分类模型。
4、进一步地,所述损失函数的类型包括:交叉熵损失函数,基于所述增量训练样本对所述原始分类模型进行再训练,并在所述原始分类模型关联的损失函数满足预设条件的情况下,确定所述目标分类模型,包括:将所述增量训练样本输入所述原始分类模型进行模型训练,并在训练过程中,采用目标分类器进行交叉熵损失函数计算,在所述交叉熵损失函数满足所述预设条件的情况下,确定所述目标分类模型,其中,所述原始分类模型的模型类型包括:深度学习模型,所述目标分类器包括:余弦分类器。
5、进一步地,所述目标扩散模型通过以下方式得到:获取初始训练样本,其中,所述初始训练样本包括:n个第二企业的对公账户的申请材料的图片以及该申请材料的分类信息,n个第二企业的对公账户的申请时刻在所述目标企业的对公账户的申请时刻之前,n为正整数;基于所述初始训练样本对初始扩散模型进行模型训练,得到所述目标扩散模型,其中,所述初始扩散模型包括:未进行过模型训练的扩散模型。
6、进一步地,获取所述伪样本,包括:获取所述m个第一企业的对公账户的申请材料的图片以及所述m个第一企业的对公账户的申请材料的分类信息,得到所述目标训练样本;将所述目标训练样本输入至所述目标扩散模型,通过所述目标扩散模型生成与所述初始训练样本的相似度大于预设相似度的训练样本,得到所述伪样本。
7、进一步地,在将所述伪样本和所述目标训练样本进行合并,得到增量训练样本之后,还包括:将所述增量训练样本输入所述目标扩散模型,对所述目标扩散模型进行再训练,得到训练后的所述目标扩散模型。
8、进一步地,所述分类结果包括:所述账户申请材料属于每个分类类别的概率,在将所述待分类图片输入目标分类模型,输出所述账户申请材料的分类结果之后,包括:基于所述分类结果所指示所述账户申请材料属于每个分类类别的概率,确定所述账户申请材料的类别,其中,所述账户申请材料的类别为所述分类结果中概率值最大的分类类别;将所述账户申请材料的图片和所述账户申请材料的分类类别存储至指定存储空间。
9、根据本发明实施例的另一方面,还提供了一种账户申请材料的分类装置,包括:获取单元,用于获取账户申请材料的图片,得到待分类图片,其中,所述账户申请材料包括:目标企业的对公账户的申请材料;处理单元,用于将所述待分类图片输入目标分类模型,输出所述账户申请材料的分类结果,其中,所述目标分类模型包括:基于伪样本和目标训练样本对原始分类模型进行增量训练得到模型,所述伪样本包括:利用目标扩散模型生成的历史图片以及所述历史图片的分类信息,所述历史图片包括:历史时间段内对公账户的申请材料的图片,所述目标训练样本包括:m个第一企业的对公账户的申请材料的图片以及所述m个第一企业的对公账户的申请材料的分类信息,m个第一企业的对公账户的申请时刻在所述历史时间段之后且在所述目标企业的对公账户的申请时刻之前,m为正整数。
10、进一步地,所述目标分类模型关联的分类类别的数量大于所述原始分类模型关联的分类类别的数量,所述目标分类模型通过以下子单元得到:第一获取子单元,用于获取所述伪样本和所述目标训练样本;合并子单元,用于将所述伪样本和所述目标训练样本进行合并,得到增量训练样本;第一训练子单元,用于基于所述增量训练样本对所述原始分类模型进行再训练,并在所述原始分类模型关联的损失函数满足预设条件的情况下,确定所述目标分类模型。
11、进一步地,所述损失函数的类型包括:交叉熵损失函数,训练子单元包括:确定模块,用于将所述增量训练样本输入所述原始分类模型进行模型训练,并在训练过程中,采用目标分类器进行交叉熵损失函数计算,在所述交叉熵损失函数满足所述预设条件的情况下,确定所述目标分类模型,其中,所述原始分类模型的模型类型包括:深度学习模型,所述目标分类器包括:余弦分类器。
12、进一步地,所述目标扩散模型通过以下子单元得到:第二获取子单元,用于获取初始训练样本,其中,所述初始训练样本包括:n个第二企业的对公账户的申请材料的图片以及该申请材料的分类信息,n个第二企业的对公账户的申请时刻在所述目标企业的对公账户的申请时刻之前,n为正整数;第二训练子单元,用于基于所述初始训练样本对初始扩散模型进行模型训练,得到所述目标扩散模型,其中,所述初始扩散模型包括:未进行过模型训练的扩散模型。
13、进一步地,获取单元包括:第三获取子单元,用于获取所述m个第一企业的对公账户的申请材料的图片以及所述m个第一企业的对公账户的申请材料的分类信息,得到所述目标训练样本;生成子单元,用于将所述目标训练样本输入至所述目标扩散模型,通过所述目标扩散模型生成与所述初始训练样本的相似度大于预设相似度的训练样本,得到所述伪样本。
14、进一步地,账户申请材料的分类装置还包括:训练单元,用于在将所述伪样本和所述目标训练样本进行合并,得到增量训练样本之后,还包括:将所述增量训练样本输入所述目标扩散模型,对所述目标扩散模型进行再训练,得到训练后的所述目标扩散模型。
15、进一步地,所述分类结果包括:所述账户申请材料属于每个分类类别的概率,账户申请材料的分类装置还包括:确定单元,用于在将所述待分类图片输入目标分类模型,输出所述账户申请材料的分类结果之后,基于所述分类结果所指示所述账户申请材料属于每个分类类别的概率,确定所述账户申请材料的类别,其中,所述账户申请材料的类别为所述分类结果中概率值最大的分类类别;存储单元,用于将所述账户申请材料的图片和所述账户申请材料的分类类别存储至指定存储空间。
16、根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的账户申请材料的分类方法。
17、根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的账户申请材料的分类方法。
18、在本发明中,获取账户申请材料的图片,得到待分类图片,其中,账户申请材料包括:目标企业的对公账户的申请材料;将待分类图片输入目标分类模型,输出账户申请材料的分类结果,其中,目标分类模型包括:基于伪样本和目标训练样本对原始分类模型进行增量训练得到模型,伪样本包括:利用目标扩散模型生成的历史图片以及历史图片的分类信息,历史图片包括:历史时间段内对公账户的申请材料的图片,目标训练样本包括:m个第一企业的对公账户的申请材料的图片以及m个第一企业的对公账户的申请材料的分类信息,m个第一企业的对公账户的申请时刻在历史时间段之后且在目标企业的对公账户的申请时刻之前,m为正整数。进而解决了相关技术中增加新的分类类别后,采用新训练样本对模型进行增量训练,由于模型存在灾难性遗忘的情况,导致模型对申请材料进行分类的分类结果不准确的技术问题。
19、在本发明中,基于扩散模型生成的伪样本和目标训练样本训练的目标分类模型,对账户申请材料进行分类,避免了相关技术中新增分类类别后,采用新的训练样本对模型进行增量训练,分类模型的分类结果不准确的情况,从而实现了在新增分类类别后,保证分类模型的分类结果的准确率的技术效果。
1.一种账户申请材料的分类方法,其特征在于,包括:
2.根据权利要求1所述的分类方法,其特征在于,所述目标分类模型关联的分类类别的数量大于所述原始分类模型关联的分类类别的数量,所述目标分类模型通过以下方式得到:
3.根据权利要求2所述的分类方法,其特征在于,所述损失函数的类型包括:交叉熵损失函数,基于所述增量训练样本对所述原始分类模型进行再训练,并在所述原始分类模型关联的损失函数满足预设条件的情况下,确定所述目标分类模型,包括:
4.根据权利要求2所述的分类方法,其特征在于,所述目标扩散模型通过以下方式得到:
5.根据权利要求4所述的分类方法,其特征在于,获取所述伪样本,包括:
6.根据权利要求2所述的分类方法,其特征在于,在将所述伪样本和所述目标训练样本进行合并,得到增量训练样本之后,还包括:将所述增量训练样本输入所述目标扩散模型,对所述目标扩散模型进行再训练,得到训练后的所述目标扩散模型。
7.根据权利要求1所述的分类方法,其特征在于,所述分类结果包括:所述账户申请材料属于每个分类类别的概率,在将所述待分类图片输入目标分类模型,输出所述账户申请材料的分类结果之后,包括:
8.一种账户申请材料的分类装置,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的账户申请材料的分类方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的账户申请材料的分类方法。