(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111535326.0 (22)申请日 2021.12.15 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 申请人 国网宁夏电力有限公司 　 国网宁夏电力有限公司电力科 学研 究院 (72)发明人 陈俊斌　潘振宁　余涛　丁茂生　 杨慧彪　王运　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 郑宏谋 (51)Int.Cl. G06Q 10/06(2012.01)G06Q 50/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种电力系统经济调度决策的方法、 系统、 装置及介质 (57)摘要 本发明公开了一种电力系统经济调度决策 的方法、 系统、 装置及介质， 其中方法包括： 获取 电力系统的第一运行状态数据， 根据第一运行状 态数据构建第一运行状态图； 构建融入图卷积神 经网络的图强化学习模型； 根据奖励机制， 采用 第一运行状态图对图强化学习模 型进行训练； 获 取电力系统的第二运行状态数据， 根据第二运行 状态数据构建第二运行状态图， 将第二运行状态 图输入训练后图强化学习模型， 输出电力系统的 经济调度决策。 本发明基于图理论将电力系统运 行状态转化为非欧式空间下的图数据， 由于图卷 积网络可以有效聚合运行状态图中节 点数据， 引 入图神经网络与强化学习相结合， 形成一种新的 电力系统经济调度决策方案， 可广泛应用于电力 系统。 权利要求书2页 说明书9页 附图3页 CN 114358520 A 2022.04.15 CN 114358520 A 1.一种电力系统经济调度决策的方法， 其特 征在于， 包括以下步骤： 获取电力系统的第一运行状态数据， 根据所述第一运行状态数据构建第一运行状态 图； 构建融入图卷积神经网络的图强化学习模型； 根据奖励机制， 采用所述第一 运行状态图对所述图强化学习模型进行训练； 获取电力系统的第二运行状态数据， 根据所述第二运行状态数据构建第二运行状态 图， 将所述第二运行状态图输入训练后所述图强化学习模型， 输出电力系统的经济调度决 策； 其中， 所述运行状态图中的节点为电力系统的节点， 所述运行状态图中的边为电力系统 的拓扑连接关系。 2.根据权利要求1所述的一种电力系统经济调度决策的方法， 其特征在于， 所述节点的 节点特征包括该节 点的有功负荷数据、 无功负荷数据、 所接发电机出力数据、 风电数据或光 伏数据。 3.根据权利要求1所述的一种电力系统经济调度决策的方法， 其特征在于， 所述图强化 学习模型包括行动器模块和评判器模块， 所述构建融入图卷积神经网络的图强化学习模 型， 包括： 构建图卷积神经网络， 所述图卷积神经网络用于对节点的消息进行传递、 转换和聚合， 以实现节点特 征的提取； 构建融合所述图卷积神经网络的行动器模块， 所述行动器模块以运行状态图作为输 入， 输入的运行状态图经过所述图卷积神经网络进行特征提取后， 再经过所述行动器模块 的全连接层， 获得动作策略； 构建融合所述图卷积神经网络的评判器模块， 将经过所述图卷积神经网络进行特征提 取的运行状态图和所述动作策略， 输入所述评判器模块的全连接层， 获得状态动作对的Q 值。 4.根据权利要求3所述的一种电力系统经济调度决策的方法， 其特征在于， 所述节点特 征的提取采用以下公式表示： 式中， 为第i个节点经过k次卷积后的节点特征； ei,j为边的权重； Γ表示可导 的， γ 和φ表示可导的函数。 5.根据权利要求3所述的一种电力系统经济调度决策的方法， 其特征在于， 所述动作 策 略和Q值更新的方式如下： γE{Vt+1(st+1)|st,at+α H[ π(·|st)]} 其中， π*为最优动作策略； r(st,at)是状态动作对的即时奖励， st是时刻t的系统观测状 态， at是时刻t的动作策略； 为期望算子； γ是折扣因子； Vt+1(st+1)表示状态St+1的 值函数； H[ ·]表示动作集合的熵； α 为温度系数的权重； Q(st,at)表示状态动作 对(st,at)的 Q值。权　利　要　求　书 1/2 页 2 CN 114358520 A 26.根据权利要求3所述的一种电力系统经济调度决策的方法， 其特征在于， 所述行动器 模块和所述评判器模块的更新方式如下： 式中， JQ(ω)表示行动器网络更新所需的的残差； π表示动作策略； ω为Q网络参数， 为目标Q网络参数， θ 为政策网络参数， λ为软 更新系数。 7.根据权利要求1所述的一种电力系统经济调度决策的方法， 其特征在于， 所述一种电 力系统经济调度决策的方法， 还 包括以下步骤： 在应用所述图强化学习模型时， 根据上一个时间段的运行状态图、 模型输出的经济调 度决策以及电力系统真实运行调度数据获得即时奖励， 作为所述图强化学习模型 的输入， 对所述图强化学习模型进行训练。 8.一种电力系统经济调度决策的系统， 其特 征在于， 包括： 数据获取模块， 用于获取电力系统的第一运行状态数据， 根据所述第一运行状态数据 构建第一 运行状态图； 模型构建模块， 用于构建融入图卷积神经网络的图强化学习模型； 模型训练模块， 用于根据奖励机制， 采用所述第一运行状态图对所述图强化学习模型 进行训练； 决策输出模块， 用于获取电力系统的第二运行状态数据， 根据所述第二运行状态数据 构建第二运行状态图， 将所述第二运行状态图输入训练后所述图强化学习模型， 输出电力 系统的经济调度决策； 其中， 所述运行状态图中的节点为电力系统的节点， 所述运行状态图中的边为电力系 统的拓扑 连接关系。 9.一种电力系统经济调度决策的装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利 要求1‑7任一项所述方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处 理器可执行的程序在由处 理器执行时用于执 行如权利要求1 ‑7任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114358520 A 3