(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667786.9 (22)申请日 2021.12.3 0 (71)申请人 国网北京市电力公司 地址 100031 北京市西城区前门西大街 41 号 申请人 国家电网有限公司 (72)发明人 齐小伟　陈秀海　李昕　李永勋　 彭博　刘帅　李锦川　陈沐乐　 张育臣　邹乐　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 代理人 崔来贺 (51)Int.Cl. G06K 9/62(2022.01) G06K 9/00(2022.01)G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) (54)发明名称 配电网风险动态提前预警方法、 系统、 装置 及存储介质 (57)摘要 本发明公开了一种配电网风险动态提前预 警方法、 系统、 装置及存储介质， 方法包括步骤： 获取配电网在线运行数据及预测的用户侧日负 荷数据； 将所述配电网在线运行数据及预测的用 户侧日负荷数据作为状态输入预设的配电网风 险动态提前预 警模型； 所述配电网风险动态提前 预警模型输出存在风险的配电网线路和节点。 对 于在线配电网只需输入其对应的状态， 就可判断 该电网是否存在风险， 又因为判断过程无需对整 个配电网进行潮流计算， 所耗用的时间较短， 因 而基于强化学习方法的配电网风险动态提前预 警方法具有运 算速度快、 效率高等优点。 权利要求书3页 说明书8页 附图2页 CN 114219045 A 2022.03.22 CN 114219045 A 1.一种基于强化学习算法的配电网风险动态提前预警方法， 其特征在于， 包括如下步 骤： 获取配电网在线运行 数据及预测的用户侧日负荷数据； 将所述配电网在线运行数据及预测的用户侧日负荷数据作为状态输入预设的配电网 风险动态提前 预警模型； 所述配电网风险动态提前 预警模型输出存在风险的配电网线路和节点。 2.根据权利要求1所述的基于强化学习算法的配电网风险动态提前预警方法， 其特征 在于， 所述配电网风险动态提前 预警模型的获取 方式如下： 获取配电网风险预警所涉及的配电网历史数据作为数据源， 将配电网历史数据转化为 适合强化学习算法的原 始样本集； 使用原始样本集建立配电网系统环境模型， 并构建智能体的深度强化学习模型， 所述 配电网系统环境模型用于接收深度强化学习模型的动作， 并向深度强化学习模型反馈奖 励/惩罚函数； 其中， 奖励/惩罚函数包括配电网风险评估指标； 利用深度强化学习模型和配电网系统环境模型进行离线训练和学习， 得到配电网风险 动态提前 预警模型。 3.根据权利要求2所述的基于强化学习算法的配电网风险动态提前预警方法， 其特征 在于， 原始样本集获取 方式如下： 将配电网历史运行数据转化为k ×n矩阵格式的数据集X； k为历史记录条数， n为用于评 估配电网风险的影响因素个数加1； 对数据集进行清洗： 包 含数据空缺 值处理、 数据异常值处 理、 数据重复值处 理； 使用核主成分分析对清洗后的数据集进行特征提取， 确定配电网风险预警中核心的数 据特征序列{x1， x2，…， xm}， 其中m∈[1， n ‑6]； 基于数据特征序列{x1， x2，…， xm}和必要影响特征生成适合强化学习算法的原始样本 集Y。 4.根据权利要求1所述的基于强化学习算法的配电网风险动态提前预警方法， 其特征 在于， 所述配电网风险评估指标包括节点电压越界及线路过 载。 5.根据权利要求2所述的基于强化学习算法的配电网风险动态提前预警方法， 其特征 在于， 构建配电网系统环境模型， 具体方式如下： 设置智能体状态空间， 包括配电网拓扑结构、 发电机的有功功率输出PG和电压设定值 UN、 负载消耗功率PL、 每条线路的传输功率(线路流 量)Pl、 传输功率损耗Ploss、 各节点电压Ui； 设置智能体动作空间， 配电网中一共含有 n个节点和m条线路， 动作空间包 括所有节点xi 和线路yj可能存在的所有状态， 其中i∈(0， 1， …， n)， j∈(0， 1， …， m)； 每个节点存在三种状 态xi∈(0， 1， 2)， 分别代表： 0电压正常、 1正电压越界、 2负电压越界三； 每条线路存在两种状 态yj∈(0， 1)， 分别代 表： 0线路正常、 1线路过 载； 动作输出集 合T＝{(x1，…， xi)， (y1，…， yj)}； 设置智能体奖励/惩罚机制； 通过上述步骤得到配电网系统环境模型。 6.根据权利要求1所述的基于强化学习算法的配电网风险动态提前预警方法， 其特征 在于， 设置智能体奖励/惩罚机制， 具体方式如下：权　利　要　求　书 1/3 页 2 CN 114219045 A 2记录当前所有状态电压越界节点xa(a≤(1， n)， xa∈(1， 2))和过载线路yb(b≤(1， m)， yb ＝1)， 输出集 合F＝{(x1，…， xa)， (y1，…， yb)}包含所有电压越界节点和过 载线路； 将集合T和集合F中的节点xi和线路yj一一进行比对； 当a＝i时， 若xa＝xi， 则r1＝100； 当b＝j时， 若yb＝yj， 则r2＝100； 若相邻节点或线路的状态相同并且不包括0状态时， r3＝40； 令15min为一个时间步， 每个时间步长环境模型反馈给智能体的总奖励为： R＝r1+r2+ r3。 7.根据权利要求1所述的基于强化学习算法的配电网风险动态提前预警方法， 其特征 在于， 构建深度强化学习模型， 具体方式如下： 初始化回放记忆单元D， 能够容纳的数据条数为N； 初始化真实Q网络， 随机生成权重ω； 初始化目标Q网络， 权 重同样为ω； 循环遍历， 每次事 件episode＝1， 2， . ..， M， M为总天数； 初始化第一个 状态S1； 以15min为间隔， 循环遍历每 个事件的每一 步step＝1， 2， . ..， T； 用∈‑greedy策略生成动作at： 以∈概率选择一个随机的动作at； 如果小概率事件没发 生， 则用贪婪策略选择当前值 函数最大的动作； at＝arg maxa Q(st， a， ω)； 在配电网系统环境模型中执行动作at， 接收奖励rt及新的状态st+1； 将转换结果(st， at， rt， st+1)存入回放记 忆单元D中； 从回放记忆单元D中均匀随机采样一个转换样本数据(sk， ak， rk， sk+1)； 判断是否是一个 事件的终止状态， 若是终止状态， 利用TD目标网络参数ω计算TD回报(reward)： 执行一次梯度下降算法： 更新动作值 函数逼近的网络参数θ ＝θ + △θ； 每隔C步更新目标Q网络； 结束每次事 件内循环； 结束事 件间的循环； 得到DQN强化学习模型。 8.一种用于所述基于强化学习算法的配电网风险动态提前预警方法的系统， 其特征在 于， 包括： 数据获取模块， 用于获取配电网在线运行 数据及预测的用户侧日负荷数据； 预测模块， 用于将所述配电网在线运行数据及预测的用户侧日负荷数据作为状态输入 预设的配电网风险动态提前预警模型； 所述配电网风险动态提前预警模型输出存在风险的 配电网线路和节点。 9.一种计算机装置， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述的基于强化学习算法的配电网风险动态提前 预警方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时， 实现如权利要求1至7任一项所述的基于强化学习算权　利　要　求　书 2/3 页 3 CN 114219045 A 3