(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210939058.7 (22)申请日 2022.08.05 (71)申请人 国网江苏省电力有限公司南京供电 分公司 地址 210019 江苏省南京市 建邺区奥体大 街1号 (72)发明人 徐荆州　许洪华　肖晶　王璞　 张玮亚　许自强　钱欣　朱正谊　 施萱轩　许若冰　陈驰　 (74)专利代理 机构 南京天翼专利代理有限责任 公司 321 12 专利代理师 查俊奎　奚铭 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01)G06Q 50/06(2012.01) G06F 30/27(2020.01) G06K 9/62(2022.01) G06N 7/00(2006.01) G06F 111/04(2020.01) G06F 111/08(2020.01) G06F 119/06(2020.01) G06F 119/08(2020.01) (54)发明名称 一种基于A3C算法的江水源 热泵供能系统优 化调度方法 (57)摘要 本发明提供了一种基于A3C算法的江水源热 泵供能系统优化调度方法， 通过 获取江水源热泵 供能系统中各个时间段的可再生能源 出力、 二氧 化碳排放量、 水泵效率、 电负荷和冷热负荷等指 标， 并为各类型指标进行动态赋权， 利用强化学 习A3C算法求解供能系统优化调度模型， 得到各 个时间段供能系统优化调度方法策略， 即可实现 对江水源热泵供能系统的优化调度。 本发明融合 用户用电行为等社会综合信息， 基于强化学习 A3C算法收敛快、 调参易的特点， 提出了江水源热 泵供能系统新型优化调度方法， 可有效解决负荷 密集区电网峰谷差大的问题， 实现高能效、 高可 靠、 低排放的综合能源供应 。 权利要求书2页 说明书6页 附图3页 CN 115392549 A 2022.11.25 CN 115392549 A 1.一种基于A3C算法的江水源热泵供能系统优化调度方法， 其特征在于， 包括以下步 骤： 步骤1， 获取江水源热泵供能系统中各个时间段的环保指标、 技术指标、 经济指标和用 户用电行为指标； 步骤2： 为环保指标、 技 术指标、 经济指标和用户用电行为指标进行动态赋权； 步骤3： 依赖马尔科 夫决策过程对江 水源热泵供能系统优化调度方法建模； 步骤4： 基于强化学习A3C算法多线程异步训练， 引入贝叶斯优化算法对超参数进行学 习， 并结合时序差分算法加速算法收敛， 获得 各个时间段的供能系统优化调度方法。 2.根据权利要求1所述的一种基于A3C算法的江水源热泵供能系统优化调度 方法， 其特 征在于， 步骤1中， 环保指标包括供能系统可再生能源出力和可再生能源装机总量， 技术指 标包括能源负荷和能源最大负荷， 经济指标包括系统负荷总量和系统总负荷最大值。 3.根据权利要求1所述的一种基于A3C算法的江水源热泵供能系统优化调度 方法， 其特 征在于， 步骤2中， 环保指标的动态赋权函数β1为： 公式(1)中， Pre(t)为t时刻江水源热泵供能系统可再生能源出力， Pre_max为江水源热泵 供能系统的可 再生能源 装机总量； 技术指标的动态赋权函数β2为： 公式(2)中， PL_k(t)为第k种 能源在t时刻的能源负荷； PL_kmax代表第k种 能源的最大负 荷； 经济指标的动态赋权函数β3为： 公式(3)中， PL(t)为t时刻 江水源热泵供能系统的负荷总量； PL_max为江水源热泵供能系 统总负荷的最大值； 用户用电行为指标的动态赋权函数β4为： 公式(4)中， Pmax为各个时间段内负荷功率最大值， Pmin为各个时间段内负荷功率最小 值。 4.根据权利要求3所述的一种基于A3C算法的江水源热泵供能系统优化调度 方法， 其特 征在于， 步骤3中建模依赖马尔科夫决策过程， 对四元组<S,A,R,f>进行定义， S表示状态， A 表示动作策 略， R表示奖励函数， f表示状态转移函数， f由强化学习中深度神经网络进行表 现； 状态S为供能系统中设备状态和外 部自然环境两者的结合； 奖励函数R的计算式为： R＝β3CHP+β2VEQ+β1MCO2+β4Epur    (5) 公式(5)中， CHP为供能系统成本， VEQ为供能系统水泵的效率， MCO2为各个时间段内系统二权　利　要　求　书 1/2 页 2 CN 115392549 A 2氧化碳排放总量， Epur为各个时间段内用户买电总量； 建模的热平衡约束计算式为： 公式(6)中， 为第j个江水源热泵在t时刻的加热功率， 为系统在t时刻总热负荷， NHP为江水源热泵供能系统中热泵机组的数量； 热泵机组加热功率约束计算式为： 公式(7)中， Qmin为单台热泵机加热功 率的下限， Qmax为单台热泵机加热功率的上限， 为t时刻第j个热泵机的启停标志， 为t时刻第j个热泵机的加热功率。 5.根据权利要求1所述的一种基于A3C算法的江水源热泵供能系统优化调度 方法， 其特 征在于， 步骤4中， 强化学习A3 C算法中优势函数计算式为： A(S,t)＝Rt+γRt+1+…γn‑1Rt+n‑1+γnv(S′)‑v(S)    (8) 公式(8)中， A(S,t)为优势函数表示当前状态S的价值， γ是衰减因子， n表示状态特征 维度； t表示时间序列， v(S)表示输入状态价 值函数； 基于A3C算法单线程训练， 引入贝叶斯优化算法对超参数进行学习， 获得Actor网络参 数θ 的更新公式为： 公式(9)中， a为调节因子， π(st,at)为当前环境下的动作策略， c为网络参数； Critic网络通过计算时序差分法误差值δ， 使用均方差作 为损失函数对自身网络参数c 进行参数 更新： δ ＝R+γv(S ′)‑v(S)    (10) loss＝∑(R+γv(S ′)‑v(S,c))2    (11) 公式(10)和公式(1 1)中， v(S ′)表示输出状态价 值函数； 基于A3C算法多线程异步训练， 训练过程中多线程分别和外部自然环境进行交互学习， 并更新参数v(S)和 π(S)， 获得 供能系统优化调度方法。权　利　要　求　书 2/2 页 3 CN 115392549 A 3