本发明涉及人工智能,尤其涉及一种面向电力负荷预测的联邦学习方法、装置、设备及介质。
背景技术:
1、随着社会用电需求的迅速增加,电力能源行业面临着巨大的压力,如何合理利用和规划已经成为供配电相关部门亟待解决的难题。电力负荷预测能够预测未来的用电负荷需求从而及时保证按需供电,避免出现供电不足或供电冗余等情况。负荷预测不仅受到历史负荷等时序数据的影响,也与地理位置等空间因素密切相关,同时由于电力负荷高波动性和不同地区用户的异构用电行为,如何构建时空感知的高精度负荷预测模型成为一项具有挑战性的任务。此外,在目前的电力行业中,由于用户隐私保护和数据安全问题,许多地区的电力数据无法实现集中式存储或多方共享,因此无法使用传统的集中式机器学习方法来进行模型训练,面临着“数据孤岛”难题。
2、为了解决数据异构问题,一种常用的方法是将具有相似数据分布的客户端进行聚类,实现个性化联邦学习。然而,由于联邦学习(federated learning,简称fl)的隐私要求,直接获取客户端的实际数据分布是不切实际的。大多数现有的基于聚类的个性化联邦学习方法通过计算局部模型的梯度之间的距离,以间接地获得具有相似数据分布的客户端。然而,梯度很可能揭示客户端的本地原始数据,这在fl的背景中是不允许的。另一方面,将模型进行分层处理实现个性化fl,是解决资源异构性的常用方法之一。通常认为,深度神经网络模型(deep neural networks,简称dnn)的浅层用于提取训练数据的一般特征(例如图像处理中的轮廓和纹理),而其深层用于学习与特定数据集相关的特征。由于不需要将整个模型的全部参数进行传输和聚合,因此整个fl系统的计算和通信成本大大降低。然而,这种分层方式缺少可解释性,只有分层概念而没有具体的分层策略和聚合机制,在客户端计算能力差异较大的情况下,系统时延会受到严重影响,并且模型的收敛性较差。
技术实现思路
1、本发明提供一种面向电力负荷预测的联邦学习方法、装置、设备及介质,用以解决采用传统联邦学习方法预测电力负荷是异构数据会导致模型漂移的缺陷,实现对异构电力负荷数据的个性化联邦学习。
2、根据本发明的第一方面,本发明提供了一种面向电力负荷预测的联邦学习方法,所述方法包括:
3、对多个电站的用电模式进行分析,并基于分析出的用电模式将多个电站客户端划分成多个协作训练域,其中,具有相似用电模式的电站客户端划分到同一协作训练域;
4、基于时域卷积网络构建负荷预测模型并下发到各协作训练域的电站客户端,其中,所述负荷预测模型包括个性化层和通用层;
5、在每个电站客户端分别使用各自的训练样本对负荷预测模型进行本地模型训练,得到个性化层参数和通用层参数;
6、对属于相同协作训练域的各电站客户端对应的所述个性化层参数进行边缘聚合以更新所述负荷预测模型中的所述个性化层;
7、先对属于相同协作训练域的各电站客户端对应的所述通用层参数进行边缘聚合,再对各个协作训练域边缘聚合后的通用层参数进行域间全局聚合以更新所述负荷预测模型中的所述通用层。
8、在一些可能的实现方式中,所述对多个电站的用电模式进行分析,并基于分析出的用电模式将多个电站客户端划分成多个协作训练域,包括:
9、分别获取多个电站客户端各自对应的表征序列,其中,所述表征序列用于表征电站客户端用电负荷模式;
10、对任意两个电站客户端对应的表征序列进行相似度计算,得到相似度距离;其中,所述相似度距离根据公式sdij=ed(seqi,seqj)·cf(seqi,seqj)·dfij确定,式中,为表征客户端si的表征序列,表征客户端sj的表征序列,sdij表示表征序列seqi和表征序列seqj的相似度距离,ed表示表征序列seqi和表征序列seqj的欧氏距离,cf表征序列seqi和表征序列seqj的复杂度因子,dfij表示客户端si与sj之间的实际距离,参数i和参数j为自然数;
11、基于所述相似度距离对多个电站客户端的所述表征序列进行聚类,得到聚类结果;
12、根据聚类结果对多个电站客户端进行分组,得与每个组对应的协作训练域。
13、在一些可能的实现方式中,所述对任意两个电站客户端对应的表征序列进行相似度计算,得到相似度距离,包括:
14、对任意两个电站客户端对应表征序列执行以下操作:
15、分别计算两个表征序列的实际距离与平均距离的比值,得到距离因子;
16、分别计算每个表征序列中各个时间序列的复杂度估计,将两个表征序列中复杂度估计最大值与两个表征序列中复杂度估计最小值的比值作为复杂度因子;其中,所述复杂度估计根据公式确定,式中ce(seqi)seqi表征复杂度估计,为表征序列si的表达式,和分别表征seqi中的两个相邻数据,参数i、参数n和参数k为自然数;
17、将两个表征序列的欧式距离、所述距离因子、所述复杂度因子的乘积作为所述相似度距离。
18、在一些可能的实现方式中,所述基于所述相似度距离对多个电站客户端的所述表征序列进行聚类,得到聚类结果,包括:
19、根据所述相似度距离计算内聚度和分离度;
20、并利用所述内聚度和所述分离度确定轮廓系数取最大值时聚类簇的数量;其中,所述轮廓系数根据公式确定,式中,sc表征轮廓系数,ai、bi分别表征样本seqi的内聚度和分离度,k表征最大值时聚类簇的数量max(·)表征取最大值;
21、基于预设距离阈值和属于所述预设距离阈值之内的表征序列的个数计算各个表征序列的密度因子,并根据所述密度因子的大小为每个簇分别选择一个表征序列作为初始簇中心;其中,所述密度因子根据公式式中,χi表征密度因子,n(seqi)表示属于预设距离阈值之内的表征序列的个数,r表征预设距离阈值,为表征序列si的表达式,参数i为自然数;
22、基于各个表征序列与所述初始簇中心距离的远近进行聚类以及聚类中心更新,直至每个簇的聚类中心均不再更新时输出各个簇包括的表征序列。
23、在一些可能的实现方式中,所述方法还包括:
24、针对每个协作训练域,分别获取协作训练域内每个电站客户端资源指标,其中,所述资源指标包括计算能力、通信带宽和训练样本数据占比;
25、将每个协作训练域内资源指标最高的电站客户端作为域首节点,并将剩余电站客户端作为域成员节点。
26、在一些可能的实现方式中,由所述域首节点按照半异步聚合机制执行所述边缘聚合,由云服务器按照同步聚合机制执行所述域间全局聚合。
27、在一些可能的实现方式中,所述方法还包括:
28、由所述云服务器执行以下操作:
29、为每个协作训练域分别设置初始边缘聚合轮数,并记录各个域首节点上传通用层参数的时间戳;
30、根据所述时间戳计算各个协作训练域执行边缘聚合所需要的延时,并得到最大延时;
31、利用所述最大延时和前一轮的边缘聚合轮数分别为每个协作训练域的域首节点确定当前轮的边缘聚合轮数;
32、对所述域间全局聚合的执行次数进行统计,并在每次执行完所述域间全局聚合后获取全局模型损失函数值;
33、若存在连续预设次数获取的全局模型损失函数值均不下降的情况,则结束训练。
34、根据本发明的第二方面,本发明还提供了一种面向电力负荷预测的联邦学习装置,所述装置包括:
35、域划分模块,用于对多个电站的用电模式进行分析,并基于分析出的用电模式将多个电站客户端划分成多个协作训练域,其中,具有相似用电模式的电站客户端划分到同一协作训练域;
36、模型构建模块,用于基于时域卷积网络构建负荷预测模型并下发到各协作训练域的每个电站客户端,其中,所述负荷预测模型包括个性化层和通用层;
37、训练模块,用在每个电站客户端分别使用各自的训练样本对负荷预测模型进行本地模型训练,得到个性化层参数和通用层参数;
38、第一更新模块,用于对属于相同协作训练域的各电站客户端对应的所述个性化层参数进行边缘聚合以更新所述负荷预测模型中的所述个性化层;
39、第二更新模块,用于先对属于相同协作训练域的各电站客户端对应的所述通用层参数进行边缘聚合,再对各个协作训练域边缘聚合后的通用层参数进行域间全局聚合以更新所述负荷预测模型中的所述通用层。
40、根据本发明的第三方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述面向电力负荷预测的联邦学习方法。
41、根据本发明的第四方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述面向电力负荷预测的联邦学习方法。
42、本发明提供的一种面向电力负荷预测的个性化联邦学习方法,通过分析各个电站的用电模式从而将具有相似用电模式的电站客户端划分到相同协作训练域,还创建了包括个性化层和通用层的负荷预测模型,使用各个电站客户端的各自的样本数据对负荷预测模型进行本地训练,收集训练后的个性化层参数和通用层参数,个性化层参数能够在协作训练域内进行聚合,通用层参数不仅能够在协作训练域内聚合还能够协作训练域之间进行全局聚合,所得到的多个训练协作域能够解决电站负荷数据异构的问题,基于时域卷积网络构建个性化的负荷预测模型能够解决解决联邦学习是资源异构性问题,同时针对模型中个性化层参数和通用层参数采用不同的聚合机制,能够减少系统时延,模型能够更快收敛,提高联邦学习在资源异构场景下的性能。
43、此外,本实施例的一种面向电力负荷预测的联邦学习装置、一种电子设备和一种非暂态计算机可读存储介质,同样能实现上述技术效果,这里不再赘述。
1.一种面向电力负荷预测的联邦学习方法,其特征在于,所述方法包括:
2.根据权利要求1所述的面向电力负荷预测的联邦学习方法,其特征在于,所述对多个电站的用电模式进行分析,并基于分析出的用电模式将多个电站客户端划分成多个协作训练域,包括:
3.根据权利要求2所述的面向电力负荷预测的联邦学习方法,其特征在于,所述对任意两个电站客户端对应的表征序列进行相似度计算,得到相似度距离,包括:
4.根据权利要求3所述的面向电力负荷预测的联邦学习方法,其特征在于,所述基于所述相似度距离对多个电站客户端的所述表征序列进行聚类,得到聚类结果,包括:
5.根据权利要求1所述的面向电力负荷预测的联邦学习方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的面向电力负荷预测的联邦学习方法,其特征在于,由所述域首节点按照半异步聚合机制执行所述边缘聚合,由云服务器按照同步聚合机制执行所述域间全局聚合。
7.根据权利要求6所述的面向电力负荷预测的联邦学习方法,其特征在于,所述方法还包括:
8.一种面向电力负荷预测的联邦学习装置,其特征在于,所述装置包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述面向电力负荷预测的联邦学习方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述面向电力负荷预测的联邦学习方法。
