(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111369919.4 (22)申请日 2021.11.18 (71)申请人 贵州万峰电力股份有限公司 地址 562400 贵州省黔西南布 依族苗族自 治州兴义市富民路14 号 申请人 国电南瑞南京控制系统有限公司 　 国电南瑞科技股份有限公司 (72)发明人 刘启斌　魏杰　陈征　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 张倩倩 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/06(2012.01) H02J 3/00(2006.01)G06N 20/00(2019.01) (54)发明名称 一种基于强化学习算法的需求侧响应负荷 分析方法 (57)摘要 本发明公开一种基于强化学习算法的需求 侧响应负荷分析方法， 包括： 获取电网用电侧可 调负荷信息、 电力现货市场信息以及供电侧机组 发电信息， 以及预先构建的基于用户选择的需求 响应模型； 基于需求响应模型， 将用户负荷动态 转移问题 转换为离散的无限马尔科夫决策问题； 基于电网用电侧可调负荷信息、 电力现货市场信 息以及供电侧机组发电信息， 采用Q ‑learning算 法解决所述离散的无限马尔科夫决策问题， 以用 户负荷转移的贴现奖励最大为目标， 求解得到用 户参与负荷转移的最优负荷转移方案。 本发明基 于Q‑学习理论进行需求侧负荷响应分析， 能够为 用户参与需求侧负荷响应提供决策参考， 从而更 加有效的实现负荷控制， 减少电网波动， 提升电 网运行安全性和可靠性。 权利要求书3页 说明书9页 附图1页 CN 114676949 A 2022.06.28 CN 114676949 A 1.一种基于强化学习算法的需求侧响应负荷分析 方法， 其特 征是， 包括： 获取电网用电侧可调负荷信息、 电力现货市场信息以及供电侧机组发电信息； 获取预先构建的基于用户选择的需求响应模型； 基于所述需求响应模型， 将用户负荷动态转移问题转换为离散的无限马尔科夫 决策问 题； 基于所述电网用电侧可调负荷信息、 电力现货市场信息以及供电侧机组发电信息， 采 用Q‑learning算法解决所述离散的无限马尔科夫决策问题， 以用户负荷转移的贴现奖励最 大为目标， 求 解得到用户参与负荷转移的最优负荷转移方案 。 2.根据权利要求1所述的方法， 其特征是， 所述用电侧可调负荷信 息包括各电力用户的 临界负荷和可切除负荷， 电力现货市场信息包括各时段的零售电价， 供电侧机组发电信息 包括最大发电量和机组爬坡率。 3.根据权利要求2所述的方法， 其特征是， 所述基于用户选择的需求响应模型的目标函 数为， 考虑负荷转移收益、 不舒适成本以及能源供应商激励收益的用户负荷转移利润目标 函数F； 目标函数的求 解约束包括用户需求约束、 供需平衡约束、 负荷转移约束和爬坡率约束。 4.根据权利要求3所述的方法， 其特 征是， 所述用户负荷转移利 润目标函数 F表示为： F＝Ftran‑Fsat+Finc 其中， Ftran表示智能电网中用户的负荷转移收益， Fsat表示用户的不舒适成本， Finc表示 能源供应商给予的激励收益， 且有： 式中， 为第n个用户在tj时刻转移到tk时刻的负荷量； 分别为ti、 tj、 tk 时刻的零售电价； 表示第n个用户在tj时刻被切除的负荷量； 表示在tk时刻参与负荷 转移的奖励率； α 、 β 、 φ为相关参数， n 为用户编号。 5.根据权利要求 4所述的方法， 其特 征是， 所述用户需求约束表示 为： 其中， 为tj时刻第n个用户的用电需求量， 为tj时刻第n个用户的实际权　利　要　求　书 1/3 页 2 CN 114676949 A 2用电量； 表示tj时刻第n个用户的临界负荷， 表示tj时刻第n个用户的可 切除负荷； 所述供需平衡约束表示 为： 其中， Emax(tj)表示tj时刻供电侧最大发电量； 所述负荷转移约束表示 为： 其中， 表示ti时刻第n个用户的可切除负荷； 所述爬坡率约束表示 为： 其中， U和D分别为发电侧机组向上和向下的爬坡率。 6.根据权利要求5所述的方法， 其特征是， 基于所述需求响应模型， 将用户负荷动态转 移问题转换为离 散的无限马尔科 夫决策问题包括： 将所述基于用户选择的需求响应模型简化表示 为： 根据需求响应模型， 确定离散的无限马尔科夫决策问题的决策过程要素包括： 离散时 间t、 智能体所处的状态 动作 奖励r(st′|st,At)、 转 移概率 和折扣因数γ； 其中， 表示用户在ti时刻的负荷转移意愿， t为执行负荷转移的离散时间； πt表示t时 刻的零售电价； λt表示t时刻 参与负荷转移的奖励率； 表示t时刻供电侧的最大供电量； 表示t时刻用户n的电能消费量； 表示用户n决定ti时刻转移到tj时刻的负荷量， 表示用户n决定tj时刻转移到tk时刻的负荷量； 表示t时刻所有用户对于负荷是 否转移的决策动作行为； r(st′|st,At)表示在t时刻的状态下确定决策后到下一个时刻获得 的立即奖励； 表示表示离散时刻t下的状态st转移到下一时刻状态st′所选择动作的概 率； γ表示 折扣率， 决定即时奖励和未来奖励的重要性。 7.根据权利要求6所述的方法， 其特征是， 所述转移概率 由基于玻尔兹曼分布的方权　利　要　求　书 2/3 页 3 CN 114676949 A 3