(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111487298.X (22)申请日 2021.12.07 (71)申请人 国网湖北省电力有限公司宜昌供电 公司 地址 443000 湖北省宜昌市沿江大道1 17号 (72)发明人 李黄强　贺菲　姚钦　刘辉　王涛　 (74)专利代理 机构 宜昌市三峡专利事务所 42103 代理人 吴思高 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的DWT-LSTM电力负荷预测 方法 (57)摘要 基于注意力机制的DWT ‑LSTM电力负荷预测 方法， 采用离散小波分解方法对采集到的原始负 荷数据进行分解， 得到不同尺度负荷分量； 引入 注意力机制， 根据各尺度负荷分量的重要程度进 行自适应赋权， 完成负荷数据的预处理； 利用改 进的PSO粒子群算 法对LSTM长短期记忆神经网络 模型参数进行寻优， 得到优化后的LSTM模型； 将 赋权后的各负荷分量分别代入优化后的LSTM模 型进行训练， 得到 各个负荷分量的LS TM负荷预测 模型； 将注 意力机制处理后得到的负荷分量作为 输入， 输入到相应分量的LSTM负荷预测模型， 即 得到各个分量的负荷预测值， 然后将各个分量的 负荷预测值累加， 即为下一时刻电力负荷的预测 值。 本发明方法能够在多因素交互影响的情况 下， 准确的预测电力负荷数据。 权利要求书5页 说明书12页 附图4页 CN 114219139 A 2022.03.22 CN 114219139 A 1.基于注意力机制的DWT ‑LSTM电力负荷预测方法， 其特 征在于包括以下步骤： 步骤一： 采用离散小波分解方法对采集到的原始负荷数据进行分解， 得到不同尺度负 荷分量； 步骤二： 引入注意力 机制， 根据各尺度负荷分量的重要程度进行自适应赋权， 完成负荷 数据的预处 理； 步骤三： 利用改进的PS O粒子群算法对LSTM长短期记忆神经网络模型参数进行寻优， 得 到优化后的LSTM模型； 步骤四： 将赋权后的各负荷分量分别代入优化后的LSTM模型进行训练， 得到各个负荷 分量的LSTM负荷预测模型； 步骤五： 将注意力机制处理后得到的负荷分量作为输入， 输入到相应分量的LSTM负荷 预测模型， 即得到各个 分量的负荷预测值， 然后将各个分量的负荷预测值累加， 即为下一时 刻电力负荷的预测值。 2.根据权利 要求1所述基于注意力机制的DWT ‑LSTM电力负荷预测方法， 其特征在于： 所 述步骤一中， 离散小波分解方法在保留时域信息的前提下， 能够对原始负荷数据中具有特 征差异的各个分量进 行有效分离， 即每一层 小波分解 都将得到高频分量D和低频分量A两个 部分： 离散小波变换是将原始负荷序列Xt通过一系列半带宽的低通滤波器H和高通滤波器G， 将原始数据分解成不同频率的信号: 式(1)中， j＝1,2， …,J为当前小波分解层数， J为小波分解总层 数； k为时间序 号， 即第k 个小波系数； H为低通滤波系数， G为高通滤波系数， Anj为n维信号在第j层的近似分量； Dnj的 n维信号在第j层的细节分量； 小波分解后的输出为: 式(2)中， X为原始负荷数据； ATJ为第J层的分解出的第T维近似分量； DTJ为第J层的分解 出的第T维细节分量。 3.根据权利 要求1所述基于注意力机制的DWT ‑LSTM电力负荷预测方法， 其特征在于： 所 述步骤二包括以下步骤： 第一步、 求解权重得分： 计算各频率分量Xi t与原始负荷序列Xt的相关性； 权　利　要　求　书 1/5 页 2 CN 114219139 A 2式(3)中， S(Xi t， Xt)是评价各频率分量与原始序列相关性的函数； VT和b均为超参数， Wa、 Wb、 为注意力机制中的权重矩阵， 维度为h ×d， d代表样本维度， 即样本的时间跨度， h为LSTM 中隐藏层神经 元个数； tanh为双曲正切激活函数； Xi t为Xt的第i行； 第二步、 对第一 步中的的原始分值进行归一 化处理， 即求解加权系数： 式(4)中， 为第i个分量Xi t与Xt的加权系数， Xt为Xi t为Xt的第i行,Xt为原始序列； 注意 力权重系数由分解出来的各频率分量与原始序列决定， 表明了不同频率分量对其贡献程 度， 考虑加注意力权 重系数后的小 波分解结果 为： 4.根据权利 要求1所述基于注意力机制的DWT ‑LSTM电力负荷预测方法， 其特征在于： 所 述步骤三中， 改进后的P SO算法寻优步骤如下： 步骤3.1： 初始化粒子群， 包括群 体规模N， 每 个粒子的位置xi和速度vi； 步骤3.2： 计算每 个粒子的适应度值F(i)； 步骤3.3： 对每个粒子， 用它的适应度值F(i)和个体极值Pi比较， 如果F(i)>Pi， 则用F(i) 替换掉Pi； 步骤3.4： 对每个粒子， 用它的适应度值F(i)和全局极值Pg比较， 如果F(i)>Pg则用F(i) 代替Pg； 步骤3.5： 根据公式(10)， (1 1)更新粒子的速度Vi和位置Si； Si(j+1)＝Si(j)+Vi(j+1)  (11) 式(10)、 (11)中c3为加速度常数； r3是区间[0,1]上的随机数； Pr为随机选择的粒子； Si (j)为粒子i在j次迭代后的空间位置； 式(10)中， c3r3(Pr(j)‑Si(j))部分表示为当前粒子位置与在群体中随机选择的粒子Pr 之间的距离； 步骤3.6： 如果满足结束条件退 出， 否则返回步骤3.2。 5.根据权利 要求1所述基于注意力机制的DWT ‑LSTM电力负荷预测方法， 其特征在于： 所 述步骤四包括以下步骤： 步骤4.1： 网络超参数初始化： 设置的超参数包括： 输入节点数m， 隐藏节点数k， 输出节点数n， 误差阈值cost， 最大迭权　利　要　求　书 2/5 页 3 CN 114219139 A 3