(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210616080.8 (22)申请日 2022.06.01 (71)申请人 广西大学 地址 530004 广西壮 族自治区南宁市大 学 东路100号 (72)发明人 郑含博　胡思佳　崔耀辉　李金恒　 胡钧浩　王阳　 (74)专利代理 机构 武汉维盾知识产权代理事务 所(普通合伙) 42244 专利代理师 彭永念 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 5/00(2006.01)G06V 10/22(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 17/10(2006.01) G01B 11/14(2006.01) (54)发明名称 基于轻量化三维测距的输电防外破视频监 拍及预警方法 (57)摘要 一种基于轻量化三维测距的输电防外破视 频监拍及预 警方法， 步骤为： S1、 利用标定好的相 机采集待监测的输电通道图像； S2、 利用成像模 型和立体匹配算法， 得到像素坐标与三维点云的 映射关系； S3、 选取输电设备上隐患区域的特征 点； S4、 利用轻量化设计的CornerNet ‑squeeze模 型来框出图像数据中输电设备和外来目标的具 体位置； S5、 根据图像中输电设备与外来目标的 三维坐标来计算两者之间的欧式距离， 并与国标 中规定的安全距离对比来进行选择性告警。 本发 明可以准确地识别出外来目标， 并随后给出目标 框地两个顶 点到输电设备的最短距离； 可以快速 精确地计算出外来目标的相隔距离， 可以满足输 电设备防外破的监测要求。 权利要求书3页 说明书7页 附图2页 CN 115205211 A 2022.10.18 CN 115205211 A 1.一种基于轻量化三维测距的输电防外破视频监拍及预警方法， 其特征在于： 包括以 下步骤： S1、 利用标定好的相机采集待监测的输电通道图像； S2、 利用成像模型和立体匹配算法， 得到像素坐标与三维点云的映射关系； S3、 选取输电设备 上隐患区域的特 征点； S4、 利用轻量化设计的CornerNet ‑squeeze模型来框出图像数据中输电设备和外来目 标的具体位置； S5、 根据图像中输电设备与外来目标的三维坐标来计算两者之间的欧式距离， 并与国 标中规定的安全距离对比来进行选择性告警。 2.根据权利要求1所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S1中， 利用张正友标定法相机进行标定； 设平面模板任一点P， 在像 素坐标系下的齐次坐标为(u,v,1)， 在相机坐标系下的坐标为(X,Y,Z,1)， 两坐标转换关系 如下： 其中， s为尺度因子， M34是透视投影矩阵， 如下： 其中， fx＝f/dx， fx是相机在x轴上 的焦距； fy＝f/dy， fy是相机在y轴上的焦距； (u0,v0) 为相机光心对应的像素点坐标； γ为像素坐标轴u和v的偏斜参数； fx、 fy、 γ、 u0、 v0五个参数 为相机内参； R为旋转矩阵， T为平 移向量， R和T是相机 外参； 获取相机的内参与外参后， 利用极限约束对左右图像进行畸变校正。 3.根据权利要求1所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S2中， 构建成像模 型， 利用相似三角形定理， 得到二 维像素坐标与三 维点云坐标的映射关系； 对于空间中的一点Q(XW,YW,ZW)， 在左右相机的像素坐标分别为 (ul,vl)和(ur,vr)， 由三角几何关系可 得: 其中， ZW也叫深度值， fx、 fy、 u0和v0为标定得到的相机内参， b是两相机的光心距离即基 线， ul‑ur表示视差； 视差是通过半全局立体匹配算法对左右图像对应的特征点进行匹配求权　利　要　求　书 1/3 页 2 CN 115205211 A 2得； 利用视 差计算深度值， 进 而可以计算获得像素坐标与三维坐标的转换关系。 4.根据权利要求1所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S3中， 手动选取隐患区域每根导线上的测距点， 并根据映射关系确 定测距点的三维点云坐标。 5.根据权利要求1所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S4中分为以下步骤： S4.1： 摄取输电设备图像； S4.2： 对摄制的输电设备图像通过相关软件和程序处理成适用于深度学习模型识别的 数据集； S4.3： 对数据集中有外破可能性的外来目标分别采用软件进行 标注； S4.4： 将数据集分为训练集， 验证集， 测试集； S4.5： 针对输电设备防外破监测的实时性要求构建轻量 化的CornerNet ‑squeeze模型； S4.6： 使用训练集与验证集进行模型的训练与检验； S4.7： 使用测试集对训练好的模型进行测试。 6.根据权利要求5所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S4.2中， 采用对称、 反转、 旋转、 改变对比度以及改变亮度的方式扩 充数据集， 扩充后的数据集包含多个角度， 对比度以及 亮度的输电设备图像， 图像数量和质 量用于满足深度学习模型的训练要求。 7.根据权利要求5所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S4.3中， 采用LabelImage软件对图像中的输电设备与外来目标进行 标注， 并整理生 成的xml标注文件； 生 成好的xml文件整理成json后缀格式， 并与原图像文件 按照COCO数据集标准整理好。 8.根据权利要求5所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S4.4中， 训练集、 验证集和测试集的比例为7： 2： 1。 其中训练集和验 证集用于模型训练， 测试集用于最后的模型测试。 9.根据权利要求5所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S4.5中， 采用Cor nerNet模型来作为轻量化设计的基础模 型； 在坐标 预测中， 首先采用heatmaps模块计算顶点的坐标信息， 随后采用embeddings模块来将左上 角点和对应的右下角点相匹配， 最后采用offsets模块来调整标准框与预测 框之间的偏置 值； 将squeeze层和expand层组合成Fire  module模块， 并用于CornerNet模型中来替代 residual block， 形成CornerNet ‑squeeze模型。 10.根据权利要求9所述的一种基于轻量化三维测距的输电防外破视频监拍及预警方 法， 其特征在于： CornerNet ‑squeeze模型中的轻量 化设计包 含以下步骤： S4.5.1： 在CornerNet ‑squeeze模型的颈 部将BiFPN 替代原有的FPN结构； S4.5.2： 在CornerNet ‑squeeze模型的骨干网络中采用带有可形变卷积 的ResNet50 ‑ cd。 11.根据权利要求10所述的一种基于轻量化三维测 距的输电防外破视频监拍及预警方 法， 其特征在于： 在步骤S4.5.1中， 在BiFPN中通过移除P3和P7节点之间的结点来形成了一权　利　要　求　书 2/3 页 3 CN 115205211 A 3