(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111580016.0 (22)申请日 2021.12.2 2 (71)申请人 江苏海宏电力工程顾问股份有限公 司 地址 214028 江苏省无锡市新区龙山路旺 庄科技创业中心B栋8楼 (72)发明人 顾寅凯　闵俊　黄彬　毛海明　 宋晚珍　胡巍源　尹念　袁雪原　 (74)专利代理 机构 武汉天力专利事务所 42 208 代理人 吴晓颖 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01)H02J 3/00(2006.01) H02J 3/06(2006.01) (54)发明名称 一种适应电网随机运行状态的可选择需求 响应优选方法 (57)摘要 本发明属于配电网需求响应领域， 提供一种 适应电网随机运行状态的可选择需求响应优选 方法， 该方法针对多随机场景下多组CCR的优选 问题， 利用竞争深度Q网络架构的深度强化学习 算法实现CCR群组的优选及其所包含节点的优化 调度， 优选的CCR群组节点及其优化调度策略能 够减少停电次数， 改善电压运行状态， 增大供电 公司的售电利 润。 权利要求书3页 说明书6页 附图1页 CN 114254829 A 2022.03.29 CN 114254829 A 1.一种适应电网随机运行状态的可选择需求响应优选方法， 其特征在于该方法包括以 下步骤： (1)以电压安全运行约束和配电网潮流运行约束为模型的约束条件， 以供电公司经济 补偿和停电次数惩罚最小为目标， 构建C CR群组节点优化调度数 学模型； (2)基于马尔可夫决策过程构建CCR群组节点态势感知元组， 然后将数学模型映射至态 势感知元组中的环境理解 函数； (3)基于神经网络训练预设值与数据导入后的计算 值， 建立态 势利导函数； (4)采用竞争深度Q网络架构的深度强化学习算法实现CCR群组的优选及其所包含节点 的优化调度； (4‑1)对历史负荷数据曲线 进行泛化处 理， 以适应电网随机运行状态； (4‑2)设置 ε‑greedy策略， 以在训练过程中选取最优策略； (4‑3)建立经验 池机制， 以加快DRL 算法训练速度与精确度； (4‑4)DRL算法基于泛化后的负荷曲线， 在 ε ‑greedy策略和经验池机制下训练态势利导 函数， 自学习智能体自趋优实现多组待选 CCR群组的优选及其所包 含节点的优化调度。 2.根据权利要求1所述的适应电网随机运行状态的可选择需求响应优选方法， 其特征 在于， 步骤(1)中所述的约束条件 包括潮流方程约束， 支路容 量约束以及节点相角约束： 潮流方程约束 Pm＝VmΣVn(Gmncosθmn+Bmnsinθmn) Qm＝Vm∑Vn(Gmncosθmn‑Bmnsinθmn) Pm、 Qn为节点m的有功和无功功率， V为节点电压幅值， θ为节点m、 n电压相量的相角差， G、 B为节点m、 n之间支路的导纳； 支路容量约束 Pmn＝VmVn(Gmncosθmn+Bmnsinθmn)‑Vm2Gmn ‑Pmax≤Pmn≤Pmax Pmn为节点m和n之间的支路潮流， Pmax为支路的传输容 量； 节点相角约束 θm‑min≤θm≤θm‑max θm‑min、 θm‑max为节点电压相角的最小值和最大值。 3.根据权利要求1所述的适应电网随机运行状态的可选择需求响应优选方法， 其特征 在于， 步骤(2)所述的 “基于马尔可夫决策过程构建CCR群组节 点态势感知元 组， 然后将数学 模型映射至态 势感知元组中的环境理解 函数”具体为 基于MDP建立态势感知元组(S,A,R)， 其中S为态势感知获取的状态集， A为动作集， R为 环境理解 函数； 以配电网节点电压和CCR群组节点的响应功率为感知量， 配电网状态和CCR群组中节点 的状态构成 感知状态集S， 其中NCCR为CCR群组节点集合， NEND为可观测电压节点的集合， Ui(t)END为t时刻可观测节点 i的电压， Pj(t)CCR为CCR群组中t时刻j节点的响应功率；权　利　要　求　书 1/3 页 2 CN 114254829 A 2响应状态即为 取值为0即CCR群组节点响应或1即CCR群组节点未响 应； 建立环境理解函数R包括供电公司售电利润函数， 响应状态函数以及电压运行回报函 数， 对于电压运行回报函数 当CCR群组节点响应后， 可观测节点电压大于额定电压的 93％时， 电压运行回报函数 取正向激励Fu， 反之取0； 电压运行回报函数如下 对于响应状态函 数 若相邻时刻若开关状态一致， 则 取0， 反之取Fa(j)； 响应状态函 数如下 Fa(j)与节点期望停电次数有关 Fa(j)＝k/kj 其中kj为节点期望停电次数， k 为固定正常数； 对于供电公司售电利润函数 当负荷动作 使得供电公司售电利润大于补偿时， 则 取0， 反之取Fp(j)； 供电公司售电利 润函数如下 其中， 为t+1时刻供电公司的售电利 润， 为t+1时刻供电公司的补偿费用。 4.根据权利要求1所述的适应电网随机运行状态的可选择需求响应优选方法， 其特征 在于， 步骤(3)中的态 势利导函数如下 其中， p为控制策略， ω， b为DRL 算法参数， η为经验 池容量； 为样本训练后的预设值 其中γ为 折扣因子， α 为学习率， 0 ≤α ≤1； 为配网数据导入后的计算 值 其中 V(st,ω,b)＝Relu(x* ω0+b0)*ω1+b1权　利　要　求　书 2/3 页 3 CN 114254829 A 3