(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210351705.2 (22)申请日 2022.04.02 (71)申请人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 申请人 国网四川省电力公司 (72)发明人 舒俊霖　刘俊勇　范荣全　张强　 罗杨　 (74)专利代理 机构 成都时誉知识产权代理事务 所(普通合伙) 5125 0 专利代理师 李双 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06F 16/36(2019.01) G06F 16/33(2019.01) G06F 40/295(2020.01) G06F 40/216(2020.01) G06N 3/04(2006.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06Q 50/08(2012.01) (54)发明名称 基于图像识别与知识图谱的电网基建施工 风险管控方法 (57)摘要 本发明涉及基于图像识别与知识图谱的电 网基建施工风险管控方法， 属于电网基建、 图像 识别与知识图谱技术领域， 针对电网基 建施工过 程的安全风险， 完成电网基建施工风险预案的知 识图谱构建， 使用图像识别对风险的检测并与知 识图谱进行匹配检索， 实现对电网基 建施工安全 风险的自动检测与预案的方法。 针对图像识别， 主要采用YOL O目标检测实时进行识别。 针对知识 图谱构建， 主要采用深度学习的方法， 采用 BiLSTM‑CRF结合BERT模型对电网基建施工过程 的风险及其预案文本进行知识抽取， 完成实体识 别与关系抽取。 权利要求书3页 说明书8页 附图3页 CN 114694098 A 2022.07.01 CN 114694098 A 1.基于图像识别与知识图谱的电网基建施工风险管控方法， 其特征在于， 包括以下步 骤： S1、 建立电网基建施工风险的本体模型， 定义知识图谱的实体 类型与关系类型； S2、 基于本体模型采用自然语言处 理进行知识抽取并形成知识图谱； S3、 使用图像识别对电网基建施工过程实体进行检测， 并对施工过程风险进行实时监 测； S4、 将识别到的风险与知识图谱中的风险进行检索匹配， 并返回该风险下相应的预案 。 2.根据权利要求1所述的基于图像识别与知识图谱的电网基建施工风险管控方法， 其 特征在于， 所述本体模型对电网基建施工过程的实体类型与关系类型进行定义， 同时对各 个实体类型与关系类型的属性进行定义。 3.根据权利要求2所述的基于图像识别与知识图谱的电网基建施工风险管控方法， 其 特征在于， 所述本体模型采用自然语言处 理进行知识抽取； 首先采用BiLSTM ‑CRF进行命名实体识别， 将命名实体识别后的非结构化数据采用BERT 模型进行关系抽取， 具体过程如下： 通过词嵌入算法将单词序列转 化为向量形式， 得到词向量： Vword＝(v1， v2， v3，…， vn)， 其中n为向量维度， vn为单词； 将文本进行编码， 然后解码获得每个单词的序列标签， 使 用双向长短期记忆神经网络进 行命名实体识别， 再结合条件随机场对双向长短期记忆神经 网络的输出进行约束， 从样本中识别出实体 类型。 4.根据权利要求3所述的基于图像识别与知识图谱的电网基建施工风险管控方法， 其 特征在于， 命名实体识别采用共指消解， 具体如下： 利用Word2vec算法进行共指消解， 两个单词的词向量分别为Xword＝(x1， x2， x3，…， xn)和Yword＝(y1， y2， y3，…， yn)， 计算余弦 值 余弦值越大则两个单词相似度越高， 当余弦值超过设定的阈值时， 则两个单词看作是 指代的同一含义， 即实现共指消解。 5.根据权利要求4所述的基于图像识别与知识图谱的电网基建施工风险管控方法， 其 特征在于， 使用BERT模型进行命名实体间的关系抽取 具体如下： 定义相对于主语实体的位置序列为 式中， s1和s2分别为主语实体的开始和结束位置， 表示与主语实体的相关位置； 定义宾语实体的位置序列为 将位置序列转换为位置向量， 和BERT模型的 表示向量进行拼接， 然后将向量序列输入给双向长短期记忆神经网络， 获取每个方向上 的 最后一个隐含层状态， 进行关系抽取。权　利　要　求　书 1/3 页 2 CN 114694098 A 26.根据权利要求5所述的基于图像识别与知识图谱的电网基建施工风险管控方法， 其 特征在于： 使用图像识别对电网基建施工过程实体进行检测具体如下： 采用YOLO目标检测对本体模型中的实体进行实时监测， 即： YOLO首先用S2个网格将图片 进行切割， 然后对每一网格内的像素点进行检测； 对于每一 网格， 预测目标为B个边界框及其置信度； 边界框含有目标的可能性与准确度共同构成目标 检测的置信度； 边界框内包含目标的可能性记为Pr(object)； 边界框的准确度用预测框与 实际框的交并比来表征， 记为 因此置信度的定义为 利用4个参 数来表示边界框的大小和位置： (x,y,w,h)， 其中边界框的大小由(w,h)， 即宽度与高度表 示； 边界框的中心坐标记为(x,y)， 以单元格的左上角为参考原 点； 边界框的4个参数都按 各 单元格在整张图片的比例取值， 4个参数取值范围为[0,1]； 计入置信度后， 边界框的参数共 有5个： (x,y,w,h,c)， 其中c表示置信度； 对每一单元格预测边界框内目标属于各个类别的概率， 即C个类别概率； 类别概率是在 边界框的置信度下 的条件概率， 记为Pr(classi|object)； 得到类别概率值后， 通过以下公 式计算出 各个边界框的类别置信度： 该结果表示该边界框中目标匹配度与目标属于各类别的概 率； 同时， YOLO目标检测的损失函数如下： 其中： 将图片分割为S2个单元格， 对于每一单 元格预测目标为B个边界框及其置信度； 等式右边第一项为边界框位置的误差项， xi与yi分别为第i个单元格的中心横、 纵坐标， 与 分别为预测的第i个单元格的中心横、 纵坐标， 表示第i个单元格检测到 目标， 且 该格中的第j个边界框对该目标进行 预测； 第二项是边界框大小的误差项， wi与hi分别为第i个单元格的宽度与 高度， 与 分别 为预测的第i个单 元格的宽度与高度； 第三项是边界框内检测到目标时的置信度误差项， 此时， Ci取1， 由公式给 出； 第四项是边界框没有检测到目标时的置信度误差项， 此时， Ci取0， 由公式给 出；权　利　要　求　书 2/3 页 3 CN 114694098 A 3