(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210291623.3 (22)申请日 2022.03.24 (65)同一申请的已公布的文献号 申请公布号 CN 114387558 A (43)申请公布日 2022.04.22 (73)专利权人 成都诺比侃科技有限公司 地址 610014 四川省成 都市青羊区光 华南 三路88号1栋15层15 34号 (72)发明人 唐泰可　王威　林仁辉　苏茂才　 廖峪　 (74)专利代理 机构 西安正华恒远知识产权代理 事务所(普通 合伙) 61271 专利代理师 傅晓 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/52(2022.01) G06V 10/46(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111415345 A,2020.07.14 审查员 刘穗君 (54)发明名称 一种基于多维视频的变电站监控方法及系 统 (57)摘要 本发明公开了一种基于多维视频的变电站 监控方法及系统， 包括以下步骤： 步骤S1、 依次在 多维视频流的每个维度中抽取出所有包含目标 对象图像特征的视频帧， 并在每个维度上进行图 像融合得到融合视频帧； 步骤S2、 计算每个维度 的融合视频帧中表征目标对象图像特征的像素 量级， 以及构建特征权重， 并利用特征权重对每 个维度的融合视频帧进行加权求和得到表征目 标对象多维图像特征的多维视频帧； 步骤S3、 构 建识别目标对象类别及目标对象故障的分析模 型， 并利用所述分析模型对所述多维视频帧进行 分析得到目标对象的类别属性及故障属性。 本发 明利用所述分析模型对所述多维视频帧进行分 析得到目标对象的类别属性及故障属性， 保障故 障识别效率和精度。 权利要求书3页 说明书9页 附图2页 CN 114387558 B 2022.06.21 CN 114387558 B 1.一种基于多维视频的变电站监控方法， 其特 征在于， 包括以下步骤： 步骤S1、 依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频 帧， 并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上 包含目标对象最多图像特 征的融合视频帧； 步骤S2、 计算每个维度的融合视频帧中表征目标对象图像特征的像素量级， 并基于所 述像素量级为每个维度的目标对象图像特征构建特征权重， 并利用特征权重对每个维度的 融合视频帧进行加权求和得到表征目标对象多维图像特 征的多维视频帧； 步骤S3、 构建识别目标对象类别及目标对象故障的分析模型， 并利用所述分析模型对 所述多维视频帧进行分析得到目标对象的类别属性及故障属性， 再根据目标对象的类别属 性及故障属性进行监控预警， 以通知维护人员进行定向修复； 计算每个维度的融合视频帧中表征目标对象图像特 征的像素量级， 包括： 计算每个维度中空白视频帧的像素信息量， 以及每个维度中融合视频帧的像素信息 量， 并将融合视频帧的像素信息量与空白视频帧的像素信息量的差值作为表征目标对象图 像特征的像素量级； 其中， 空白视频帧的像素信息量的计算公式为： ； 融合视频帧的像素信息量的计算公式为： ； 式中， 、 分别表征为第x个维度的空白视频帧的像素信息 量、 融合视频帧的像素 信息量， 、 分别表征为第x个维度的空白视频 帧、 融合视频 帧的灰度直方图的灰度像 素级别， 、 分别表征为空白视频帧、 融合视频帧的灰度直方图中的第l、 r个灰度像素级 别， l， r均为计量常数， 无实质含义； 表征目标对象图像特 征的像素量级的计算公式为： ； 式中， 表征为第x个维度的融合视频帧中表征目标对象图像特 征的像素量级； 基于像素量级为每 个维度的目标对象图像特 征构建特 征权重， 包括： 对所有维度的融合视频帧中表征目标对象图像特征的像素量级进行归一化处理得到 每个维度的目标对象图像特 征的特征权重， 特征权重的计算公式为： ； 式中， 表征为第x 个维度的目标对象图像特征的特征权重， X表征为维度总数目， x为计 量常数， 无实质含义； 构建识别目标对象类别及目标对象故障的分析模型， 包括： 在历史故障日志中抽取出历史目标对象类别、 历史目标对象类别的多维视频帧、 历史 目标对象类别的故障类型， 并将变电站中所有设备类别均作为 目标对象拓展类别， 再将所 有设备的故障类型作为目标对象拓展类别的故障类型， 以及将所有设备的故障类型的模拟权　利　要　求　书 1/3 页 2 CN 114387558 B 2视频帧作为目标对象拓展类别的多维视频帧， 历史目标对象类别是历史故障日志中记载的 发生故障的变电站设备类别， 历史目标对象类别的多维视频帧由历史目标对象类别的多维 视频流执 行步骤S1、 S2得到； 将历史目标对象类别的多维视频帧、 目标对象拓展类别的多维视频帧与历史目标对象 类别、 目标对象拓展类别混合构成第一样 本， 并利用第一样本训练CNN神经网络得到目标对 象类别识别模型； 将历史目标对象类别的多维视频帧、 目标对象拓展类别的多维视频帧与历史目标对象 类别的故障类型、 目标对 象拓展类别的故障类型混合构成第二样本， 并利用第二样本训练 CNN神经网络模型 得到目标对象故障识别模型； 将目标对象类别识别模型和目标对象故障识别模型组合构成分析模型。 2.根据权利要求1所述的一种基于多维视频的变电站监控方法， 其特征在于： 所述依次 在多维视频流的每 个维度中抽取 出所有包含目标对象图像特 征的视频帧， 包括： 依次获取每个维度中包含基础场景的空白视频帧， 并依次得到所述空白视频帧的灰度 直方图向量； 依次得到多维视频流的每个维度中的所有视频帧的灰度直方图向量， 并将每个维度中 的所有视频帧的灰度直方图向量依 次与对应维度中的空 白视频帧的灰度直方图向量进行 相似度比对， 再在每个维度中保留相似度值未超相似阈值的视频帧作为包含目标对象图像 特征的视频帧， 其中， 所述相似度比对公式为： ； 式中， 表征为第x个维度的第i个视频帧的灰度直方图向量与第x个维度中的空白视频 帧的灰度直方图向量间相似度， 表征为第x个维度的第i个视频帧的灰度直方图向量， 表征为第x个维度中的空白视频帧的灰度直方图向量， T为转置符号， x， i为计量常数， 无实 质含义； 依次将每个维度中包含目标对象图像特征的所有视频帧进行去冗余视频帧的操作， 以 减少冗余视频帧参与图像融合 来提高图像融合的效率， 其中， 将每个维度中包含目标对象图像特征的所有视频帧按原有帧序列进行排列得到视频 帧序列， 并顺次计算视频帧序列中相邻视频帧间的灰度直方图向量的相似度， 所述相邻视 频帧间的灰度直方图向量的相似度的计算公式为： ； 式中， 表征为第x个维度对应的视频帧序列中的第k个视频帧与第k+1个视频帧间 的灰度直方图向量的相似度， 、 分别表征为第x个维度中第k个视频帧与第k+1个视 频帧间的灰度直方图向量， k 为计量常数， 无实质含义； 若 超相似阈值， 则将第k+1个视频帧从所述视频帧序列中剔除； 若 未超相似阈值， 则将第k+1个视频帧保留在所述视频帧序列中； 将所述视频帧序列中所有保留下的视频帧作为经去冗余操作后且包含目标对象图像 特征的视频帧。 3.根据权利要求2所述的一种基于多维视频的变电站监控方法， 其特征在于： 所述在每权　利　要　求　书 2/3 页 3 CN 114387558 B 3