本发明属于配电网调控运行与故障处置，尤其是基于madqn智能体深度强化学习的配电网故障处置方法。
背景技术：
1、近年来配电网自动化设备的投资比例逐渐加大，但由于缺乏有效的分析手段，大量的配电网运行数据没有得到有效利用。城市规模快速扩张以及用电量的上升，导致配电网节点数大量增加，结构愈加复杂。这种情况下故障定位隔离后拓扑变化不确定性较大，且配电网中的大量开关的组合较多，负荷转供路径的选择呈现了组合爆炸的问题。城市过快的扩张速度，部分地区的配电早期投资较小，配网建设比较落后，在故障后有转供裕度不足等问题，更加大了负荷转供的难度。目前的负荷转供算法难以解决转供策略的求解速度与质量的矛盾，目前电力公司广泛使用的方法基本上基于经验性方法给出相应的操作方案，因此，无法进行操作方案最优性的选择而使得最多负荷得到转移，及停电范围最小；当有多个地方出现过负荷，及故障停电时，无法协调地实现负荷转移；无法合理给出重构方案实现设备负载的均衡。同时当前的经验性方法给出的方案往往要求运行调度人员具有很好的经验，对系统设备有很深入的理解及掌握，从而对运行调度人员增加了很大的工作压力。而且方案的优劣依赖于运行人员的实际经验水平，主观性较强，在人为失误可能导致负荷损失。
2、madqn智能体深度强化学习是一种基于数据驱动的人工智能优化方法，通过与环境的交互，在奖惩机制的引导下得到最优控制策略，以解决传统优化方法中存在的高维、多参、非线性以及强耦合等问题，实现随机故障和源荷强波动情况下配电网故障快速处置。因此，亟需借助新型人工智能与深度学习技术，克服传统方法面临的计算困难，实现快速准确的配电网故障处置决策。
技术实现思路
1、本发明的目的在于克服现有技术的不足，提出基于madqn智能体深度强化学习的配电网故障处置方法，可以解决多种不确定因素对电网安全稳定运行造成的影响，实现随机故障和源荷强波动情况下配电网故障快速处置。
2、本发明解决其技术问题是采取以下技术方案实现的：
3、基于madqn智能体深度强化学习的配电网故障处置方法，包括以下步骤：
4、步骤1、构建配电系统环境；
5、步骤2、根据配电系统环境，构建madqn智能体强化学习算法训练环境；
6、步骤3、根据配电系统环境，构建madqn智能体强化学习本地状态空间；
7、步骤4、根据配电系统环境，构建madqn智能体强化学习通信状态空间；
8、步骤5、根据配电系统环境，构建madqn智能体强化学习动作空间；
9、步骤6、根据步骤2至步骤5构建madqn智能体强化学习奖励函数；
10、步骤7、设置训练过程的误差收敛上界、训练轮数、batchsize、优化方法及参数，进行madqn算法模型中估计网络和目标网络的训练；
11、步骤8、使用训练的madqn算法模型对配电网故障进行处置。
12、而且，所述步骤1中配电系统环境包括拓扑连接关系、开关位置、线路参数和变压器参数。
13、而且，所述步骤2中madqn智能体强化学习算法训练环境包括估计网络、目标网络和经验池，其中估计网络用于在每个状态下选择动作，并估计这些动作的回报，目标网络用于提供稳定的目标值进行学习。
14、而且，所述步骤3的具体实现方法为：
15、sl＝[vl，θl，pl，ql，swl]
16、式中，sl为本地状态空间，vl为节点电压幅值向量组，表示配电网中各个节点的电压幅值；θl为节点电压相角向量组，表示配电网中各个节点的电压相角；pl为支路有功向量组，表示配电网中各条支路的有功传输功率；ql为支路无功向量组，表示配电网中各条支路的无功传输功率；swl为开关状态，取值为0表示开关断开，取值为1表示开关闭合。
17、而且，所述步骤4的具体实现方法为：
18、sc＝[vc，θc，pc，qc，swc]
19、式中，sc为通信状态空间，vc为临近智能体节点电压幅值向量组，表示所有临近智能体的节点电压幅值；θc为临近智能体节点电压相角向量组，表示所有临近智能体的节点电压相角；pc为临近智能体支路有功向量组，表示所有临近智能体的支路有功传输功率；qc为临近智能体支路无功向量组，表示所有临近智能体的支路无功传输功率；swc为临近智能体开关状态，取值为0表示开关断开，取值为1表示开关闭合。
20、而且，所述步骤6中奖励函数包括奖励部分和惩罚部分，其中，奖励部分：考虑负荷恢复量大，开关动作次数少，网损小；惩罚部分：考虑电压及功率越限以及失电区域扩大：
21、
22、式中，r1～r4分别表示各个奖励项和惩罚项的权值；na为开关动作次数；为开关动作k恢复负荷量；ii为支路i电流；ri为支路i电阻；pvolt、plim、ploss和prepeat分别为节点电压越限、支路功率越限、失电区域扩大以及相同开关重复动作惩罚项，当出现节点电压越限、支路功率越限、失电区域扩大和相同开关重复动作时分别取值10，否则取值为0。
23、本发明的优点和积极效果是：
24、本发明通过将配电网故障处置过程建模为连续不重复的开关操作，可以显著缩减强化学习动作空间维数；通过建立考虑故障处置负荷恢复量、开关动作次数以及网损等故障处置策略评价指标的奖励函数，以及针对电压/功率越限、故障区域扩大等系统异常状态的惩罚函数与动作屏蔽机制，可以提高模型训练效率，保障输出策略的有效性。基于上述模型机制设计，本发明可以解决多种不确定因素对电网安全稳定运行造成的影响，实现随机故障和源荷强波动情况下配电网故障快速处置。
1.基于madqn智能体深度强化学习的配电网故障处置方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于madqn智能体深度强化学习的配电网故障处置方法，其特征在于：所述步骤1中配电系统环境包括拓扑连接关系、开关位置、线路参数和变压器参数。
3.根据权利要求1所述的基于madqn智能体深度强化学习的配电网故障处置方法，其特征在于：所述步骤2中madqn智能体强化学习算法训练环境包括估计网络、目标网络和经验池，其中估计网络用于在每个状态下选择动作，并估计这些动作的回报，目标网络用于提供稳定的目标值进行学习。
4.根据权利要求1所述的基于madqn智能体深度强化学习的配电网故障处置方法，其特征在于：所述步骤3的具体实现方法为：
5.根据权利要求1所述的基于madqn智能体深度强化学习的配电网故障处置方法，其特征在于：所述步骤4的具体实现方法为：
6.根据权利要求1所述的基于madqn智能体深度强化学习的配电网故障处置方法，其特征在于：所述步骤6中奖励函数包括奖励部分和惩罚部分，其中，奖励部分：考虑负荷恢复量大，开关动作次数少，网损小；惩罚部分：考虑电压及功率越限以及失电区域扩大：
