本发明提供一种基于hadoop系统的电费回收风险预警方法，属于电费回收风险预警。
背景技术：
1、随着电力市场的不断发展和用户需求的多样化，针对电费回收风险的预警分析成为了电力运营环节的重要项目，传统的电费回收风险分析方法通常基于小规模数据和简单的统计分析，难以全面、准确地反映用户的电费回收风险；同时，目前采用的电费回收风险预警方法集中于单一机器学习算法，例如聚类算法、支持向量机算法等，这类方法的分析结果易受噪声和异常值的影响，或对异常情况的识别能力有限，单一机器学习方法无法保证风险预测的准确性；还有一些方法只考虑了单源电费数据，忽略了其他相关数据，导致分析结果不够准确；一些方法在处理海量数据时效率低下，无法满足实时分析的需求；还有一些方法缺乏有效的异常检测机制，难以准确识别异常情况。
2、此外，针对不同的数据源可能包含有关电费回收风险的多种信息，如用户用电行为、用户信用记录、宏观经济指标等，然而如何有效地将这些数据关联起来，并利用它们的互补性进行风险分析并做出风险预警，目前提供的风险预警分析方案尚不能解决该技术问题。
技术实现思路
1、本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于hadoop系统的电费回收风险预警方法。
2、为了解决上述技术问题，本发明采用的技术方案为：一种基于hadoop系统的电费回收风险预警方法，包括如下的预警分析步骤：
3、步骤一：针对多源数据进行采集、预处理和数据存储操作：
4、步骤1.1：采集与电费回收风险相关的多源数据：
5、步骤1.2：对收集到的原始数据进行预处理操作；
6、步骤1.3：将预处理后的数据上传至hadoop并行环境下的分布式文件系统hdfs中进行存储；
7、步骤二：通过离群分析发现异常用户，并对异常用户进行用户画像刻画：
8、步骤2.1：基于稀疏性分析，识别冗余的特征和数据，进行冗余剪枝操作：
9、步骤2.1.1：针对粒子密度分布进行计算，以属性取值作为粒子计算单位，计算粒子密度分布值lij，计算公式为：
10、
11、式中：a表示数据oi上的第j个属性值，rij是与数据oi相似的点组成集合，|rij|表示集合的模，cij表示集合rij在a上的中心值；
12、步骤2.1.2：基于粒子密度分布，通过设置阈值ε，将粒子的密度分布情况转化为粒子稀疏度dij，计算公式为：
13、
14、式中：lij为上式的粒子密度分布值，ε为人为设置阈值；
15、定义当数据oi上所有属性取值的粒子稀疏度dij均为0时，则该数据被认定为冗余量，进行剪枝；
16、步骤2.2：基于对多源电力数据的预处理，采用基于粒子密度的离群挖掘方法，先对属性权重进行度量，结合粒子密度分布，分别计算每个数据点的离群程度，挖掘用户电力数据中的异常数据点，即判断为异常用电用户；计算数据oi的离群程度out(oi)，计算公式为：
17、
18、式中：dij和lij为上式粒子稀疏度和粒子密度分布值，wij表示数据点oi在第j维属性上的权重值，可由lij表示的函数计算而得；
19、将计算出的数据点离群程度按照从大到小排序，选出out(oi)最大的m个数据点，即为要挖掘出来的异常用户点；
20、步骤2.3：基于用户行为分析，对挖掘出的异常用户进行用户画像刻画，构建异常用户特征体系：
21、步骤2.3.1：以用户用电欠费行为作为依据，分析影响用户欠费的行为特征；
22、采用数据探索方法，对与欠费相关特征进行初步探索性分析，根据行业类型，统计各月用户欠费数据，分析用电类型与欠费的对应关系；
23、以全年时间为跨度单元，统计各月份内的应收违约金和实收违约金；
24、步骤2.3.2：基于极致梯度提升树xgboost的特征融合方法，获得特征融合，构建特征体系；
25、步骤三：提取异常用户特征，通过聚类算法实现对异常用户的归类，进行风险等级预测：
26、步骤3.1：提取异常用户组特征：提取重要欠费特征并度量特征重要程度，在步骤2.3.2特征融合的基础上，得出各特征的重要程度；
27、步骤3.2：给出各特征组内的特征重要程度，构成子空间聚类的属性子空间，在该特征子空间的基础上，采用多目标聚类子空间聚类算法，通过度量所有电力用户在异常特征子空间中与异常用电行为的近似程度来识别异常行为；
28、步骤3.3：针对电力欠费风险进行预测：将电力欠费风险划分为四个等级，分别为：高风险、中风险、低风险、无风险，供电企业需根据用电用户的风险等级采取不同的措施。
29、所述步骤1.1中采集的多源数据具体包括：
30、从电力营销系统、调度系统、用电信息采集系统中调取的用户用电信息、电费信息、缴费记录；
31、征信系统中记录的用户信用信息；
32、税务部门、工商部门记录的用户经营情况、税务情况数据；
33、从事电力行业数据收集和分析的第三方数据提供商提供的电力行业专业数据和报告；
34、银行系统、支付平台记录的用户支付能力和支付习惯信息。
35、所述步骤1.2中进行预处理操作的具体步骤包括：
36、步骤1.2.1：对采集到的原始数据进行清洗，去除异常值、缺失值、重复值，保证数据的完整性和准确性；
37、步骤1.2.2：将不同来源的数据进行转换和整合，统一格式；
38、步骤1.2.3：根据数据的特征和属性，分为不同的类别；
39、步骤1.2.4：将不同量纲的数据进行归一化处理，转化为统一的标准；
40、步骤1.2.5：将多源数据进行融合，整合成一个完整的数据集。
41、所述步骤2.3.2中获得特征融合的具体方法为：
42、构建极致梯度提升树xgboost的特征融合模型，根据特征重要排序函数；
43、训练目标函数，目标函数的表达式为：
44、
45、式中：ft(xi)表示第t棵决策树对数据xi的预测值，gi为一阶导数，hi为二阶导数，gi/hi为常数，c为常数项，ω(ft)表示第t棵决策树的模型复杂度；
46、以目标函数最小化为目标，迭代训练各参数，得到特征重要排序函数；
47、获取特征重要性值，特征重要性值的表达式为：
48、
49、式中：dk为第k个特征的特征取值与hi组成的集合，dk＝{(x1k,h1),…,(xnk,hn)}，(xik,hi)表示第i个数据对于第k个特征的特征值hi。
50、所述步骤3.2中采用的多目标聚类子空间聚类算法具体步骤为：
51、步骤3.2.1：采用簇内紧凑与簇间远离的多目标聚类方法，采用的多目标聚类函数的表达式为：
52、
53、式中，p(ci)表示第i个簇内数据量在总数上的占比，co(osj)为簇内紧凑度，se(osj)为簇间疏离度；
54、co(osj)＝p(osj,aj,ci)×w(aj)；
55、式中，p(osj,aj,ci)是在簇ci内属性aj上特征值osj的出现概率值，w(aj)是属性aj的特征重要程度；
56、se(osj)＝p(osj,aj,ci)p(osj,aj)；
57、式中：p(osj,aj,ci)与上式相同，p(osj,aj)表示属性aj上特征值osj的出现概率值；
58、步骤3.2.2：识别用户异常行为：
59、以异常特征组为属性子空间，采用子空间聚类的方法，将具有相似异常行为的用户聚成：行业异常簇、企业经营异常簇、电量异常簇和电费异常簇。
60、所述步骤3.2.2中采用子空间聚类的具体步骤为：
61、步骤3.2.2.1：随机选择一个异常用户作为簇内的初始点；
62、步骤3.2.2.2：顺序读入其他用户，以最大化多目标聚类函数为目标，如果该目标函数的值增大，则将该用户归入到已有簇内，否则，创建一个新簇；
63、步骤3.2.2.3：重复步骤3.2.2.2，直至所有用户全部归入各自异常特征簇内。
64、本发明相对于现有技术具备的有益效果为：本发明在多源数据的基础上，进行电费回收风险分析，有利于利用多源数据之间的相关性，能有效提高风险预测的准确性；本发明基于hadoop的并行框架建立分布式风险预测模块模型，尤其是针对大规模复杂多源数据，可以确保风险预测的实时性和准确性，同时采用冗余剪枝技术，在保证分析准确率的前提下，能够减低大规模数据分析的时空复杂度，有效提高回收风险分析的效率；本发明相较于单一分析方法，采用多种数据挖掘融合技术，可以最大程度上提高电费回收风险预测的准确性和有效性。
1.一种基于hadoop系统的电费回收风险预警方法，其特征在于：包括如下的预警分析步骤：
2.根据权利要求1所述的一种基于hadoop系统的电费回收风险预警方法，其特征在于：所述步骤1.1中采集的多源数据具体包括：
3.根据权利要求2所述的一种基于hadoop系统的电费回收风险预警方法，其特征在于：所述步骤1.2中进行预处理操作的具体步骤包括：
4.根据权利要求3所述的一种基于hadoop系统的电费回收风险预警方法，其特征在于：所述步骤2.3.2中获得特征融合的具体方法为：
5.根据权利要求4所述的一种基于hadoop系统的电费回收风险预警方法，其特征在于：所述步骤3.2中采用的多目标聚类子空间聚类算法具体步骤为：
6.根据权利要求5所述的一种基于hadoop系统的电费回收风险预警方法，其特征在于：所述步骤3.2.2中采用子空间聚类的具体步骤为：
