(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210950190.8 (22)申请日 2022.08.09 (71)申请人 南京信息 工程大学 地址 210000 江苏省南京市宁六路219号 (72)发明人 宋公飞　王琳鹏　汪梦龙　王明　 杜鹏　谢佳杰　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 陈国强 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于 卷积自注意力Tran sformer模型的 电网参数辨识方法 (57)摘要 本发明涉及电网参数辨识 技术领域， 具体是 一种基于 卷积自注意力Tran sformer模型的电网 参数辨识方法， 包括模型训练阶段和模型预测阶 段， 所述模型训练阶段包括以下步骤： 获取输电 系统数据集， 将处理后的多元数据进行归一化； 构建卷积自注意力Transformer模型， 将时间序 列数据送入卷积自注意力Transformer模型中， 开始模型训练过程； 所述模型预测阶段包括以下 步骤： 获取真实的输电系统数据集， 将处理后的 多元数据进行归一化； 将数据送入训练好的卷积 自注意力Transformer模型中， 经过运算后给出 预测结果， 该模 型利用因果卷积在自注意力层生 成Q、 K， 从而得到局部 上下文的Q、 K匹配， 如形状， 可以帮助模型实现较低的训练损失并进一步提 高其预测准确性。 权利要求书2页 说明书5页 附图3页 CN 115545269 A 2022.12.30 CN 115545269 A 1.一种基于卷积自注意力Transformer模型的电网参数辨识方法， 其特征在于： 包括模 型训练阶段和模型 预测阶段， 所述模型训练阶段包括以下步骤： 步骤A1、 获取输电系统数据集， 将处 理后的多元 数据进行归一 化； 步骤A2、 构建卷积自注意力Transformer模型， 将时间序列数据送入卷积自注意力 Transformer模型中， 开始模型训练过程； 所述模型 预测阶段包括以下步骤： 步骤B1、 获取真实的输电系统数据集， 将处 理后的多元 数据进行归一 化； 步骤B2、 将数据送入训练好的卷积自注意力 Transformer模型中， 经过运算后给出预测 结果。 2.根据权利要求1所述的一种基于卷积自注意力Transformer模型的电网参数辨识方 法， 其特征在于： 所述步骤A1中， 将处理后的数据进行归一化处理， 具体包括： 使用 MinMaxScaler函数对获取的数据在特征维度上进行归一化， 将数据的范围限定在[0,1]之 间； 所述Mi nMaxScaler函数， 其公式表达如下： 其中， X为原始数据， 表示标准化后数 据， 表示归一化后数据， 表示每列中的最小值组成的行向量， 表示每列中的最大值组成的行向量， 表示要映射到的区间最大 值， 默认是1， 表示要映射到的区间最小值， 默认是0 。 3.根据权利要求1所述的一种基于卷积自注意力Transformer模型的电网参数辨识方 法， 其特征在于： 所述步骤A2中， 卷积自注意力Transformer模型由卷积自注意力替代原生 的Transformer自注意力构成。 4.根据权利要求3所述的一种基于卷积自注意力Transformer模型的电网参数辨识方 法， 其特征在于： 所述卷积自注意力 是使用卷积核大小为k （k大于1） 与步长为1的因果卷积 来将输入转换为Q和K， 因果卷积确保当前位置永远无法访问未来信息， 所述卷积自注意力 Transformer模型包括编码器和解码器， 使用Relu函数作为激活函数， Dropout的比率为 0.1。 5.根据权利要求1所述的一种基于卷积自注意力Transformer模型的电网参数辨识方 法， 其特征在于： 所述步骤B1中， 从中国电力科学研究院获取真实的输电系统数据集， 数据 集由1635组数据组成， 记录 仪每1分钟记录一次数据。 6.根据权利要求5所述的一种基于卷积自注意力Transformer模型的电网参数辨识方 法， 其特征在于： 从所述数据集中选择1200组数据作为训练集， 200组数据作为验证集， 其余 235组数据作为测试集。 7.根据权利要求1所述的一种基于卷积自注意力Transformer模型的电网参数辨识方 法， 其特征在于： 所述步骤B2中， 模 型训练过程中设置模 型的迭代次数为200， 训练批次大小 为100， 使用Adam作为优化器， 学习率为0.0001； 在训练阶段， 采用MSELoss作为损失函数， 其 表达式如下：权　利　要　求　书 1/2 页 2 CN 115545269 A 2； 其中m表示测试集的数量， 对于每一次迭代过程， 首先进入卷积自注意力Transformer 模型， 通过位置编码层提取并保存时序信息， 将带有时序信息的序列送入编 码器进行编码， 编码器中原生的自注意力由卷积自注 意力代替， 编 码的结果送入解码 器， 得到解码数据， 将 结果反归一化得到最 终预测值， 将预测值与标签值比对并计算MS ELoss值， 继续迭代直至模 型达到最优， 即MSEL oss值最小。权　利　要　求　书 2/2 页 3 CN 115545269 A 3