(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210914924.7 (22)申请日 2022.08.01 (71)申请人 国网宁夏电力有限公司固原供电公 司 地址 756000 宁夏回族自治区固原市原州 区人民街5号 (72)发明人 李凡　徐军　齐蓬勃　王国荣　 沙瑛　弋富国　马效国　吕瑞　 宋慈　冯晓雷　 (74)专利代理 机构 河北智酷知创知识产权代理 事务所(普通 合伙) 13157 专利代理师 武哲 (51)Int.Cl. G06K 9/00(2022.01) G06K 9/62(2022.01)G06F 17/18(2006.01) G06Q 10/00(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) (54)发明名称 一种基于多模态信息融合知识图谱的线路 故障识别方法 (57)摘要 一种基于多模态信息融合知识图谱的线路 故障识别方法， 涉及电网线路故障诊断技术领 域， 包括以下步骤， a、 多模态信息 预处理， b、 多模 态信息向量化， 基于深度神经网络对多模态信息 进行编码， 得到其分布式表示向量； c、 多模态信 息融合知识图谱构建， 多模态信息融合知识图谱 构建以线路设备为实体节点， 按照 “线路设备 ‑故 障条件‑故障类型 ”三元组形式构建线路故障识 别知识图谱； d、 线路故障诊断， 通过识别电网监 控信号、 气象信息和保护录波 图像， 基于知识图 谱三元组知识组织形式在线推理相应的故障类 型， 本方法解决了现行依靠单一信号或者人工经 验分析导致线路故障原因识别不准的问题， 提高 了线路故障原因诊断准确率。 权利要求书2页 说明书4页 CN 115270881 A 2022.11.01 CN 115270881 A 1.一种基于多模态信息融合知识图谱的线路故障识别方法， 其特征在于： 包括以下步 骤， a、 多模态信息预处 理 对故障监控信号、 气象信息和保护录波图像的多模态信息进行 预处理； b、 多模态信息向量 化 基于深度神经网络对多模态信息进行编码， 得到其分布式表示向量； c、 多模态信息融合知识图谱构建 多模态信息融合知识图谱构建 以线路设备为实体节点， 按照线路设备、 故障条件和故 障类型三元组形式构建线路故障识别知识图谱； d、 线路故障诊断 通过识别电网监控信号、 气象信息和保护录波图像， 基于知识图谱三元组知识组织形 式在线推理相应的故障类型， 实现线路故障诊断。 2.根据权利要求1所述的一种基于多模态信息融合知识图谱的线路故障识别方法， 其 特征在于： 所述步骤a中预 处理方式是采用正则表达式处理文本信息中干扰因素， 采用图像 过滤和增强算法清洗保护录波图像。 3.根据权利要求1所述的一种基于多模态信息融合知识图谱的线路故障识别方法， 其 特征在于： 所述 步骤a中的多模态信息包括文本信息和图像信息， 文本信息包括故障监控信息和气象信息； 图像信息包括保护录波图像信息； 故障监控信息包括故障设备信息、 故障时间、 潮流突变设备信息、 电网运行方式信息、 气象信息； 保护录波图像信息包括故障发生的录波图像。 4.根据权利要求1所述的一种基于多模态信息融合知识图谱的线路故障识别方法， 其 特征在于： 所述步骤b中的编 码方式具体是对于故障监控信号、 气象信息文本信息采用BERT 预训练模型进行编码和实体识别， 对于保护录波图像采用VGG深度神经网络进行编码和识 别。 5.根据权利要求1所述的一种基于多模态信息融合知识图谱的线路故障识别方法， 其 特征在于： 所述步骤c中故障条件包括故障监控信号、 气象信息以及保护录波图像， 将其作 为线路设备实体与故障类型实体发生推理关系的条件， 在线路设备故障发生条件与知识图 谱中所定义条件匹配情况下， 将推理出该线路设备所对应的故障类型， 故障类型包括故障 选线和故障选相。 6.根据权利要求1所述的一种基于多模态信息融合知识图谱的线路故障识别方法， 其 特征在于： 在步骤 d中推理相应的故障类型具体方式是， 在电网运行时， 将识别到的电网监 控信号和气象信息通过步骤b中转化为编码向量， 将其与多模态信息融合知识图谱中电网 监控信号和气象信息编码向量作比对， 采用余弦值计算相似度值， 在相似度满足情况下， 判 定当前电网监控信号和气象信息与多模态信息融合知识图谱中故障条件一 致； 在电网运行时， 将识别保护录波图像通过步骤b转化为编码向量， 将其与多模态信 息融 合知识图谱中保护录波图像编码向量作比对， 采用余弦值计算相似度值， 在相似度满足情 况下， 判定当前保护录波图像与多模态信息融合知识图谱中故障条件一 致；权　利　要　求　书 1/2 页 2 CN 115270881 A 2在电网运行时， 在电网监控信号、 气象信息以及保护录波图像分布式向量均满足多模 态信息融合知识图谱中故障条件可以通过 “线路设备 ‑故障条件 ‑故障类型 ”三元组形式推 理故障类别。权　利　要　求　书 2/2 页 3 CN 115270881 A 3