(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211154583.4 (22)申请日 2022.09.22 (65)同一申请的已公布的文献号 申请公布号 CN 115240093 A (43)申请公布日 2022.10.25 (73)专利权人 山东大学 地址 250000 山东省济南市历城区山大南 路27号 专利权人 国网浙江省电力有限公司温州供 电公司　 华北电力大 学 （保定） 　 浙江大华 技术股份有限公司 　 智洋创新科技股份有限公司 　 山东省计算中心 （国家超 级计算 济南中心） (72)发明人 聂礼强　尹建华　郑晓云　赵振兵　 熊剑平　赵砚青　郑小龙　孙静宇　 高赞　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 丁奎英 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/64(2022.01) G06V 10/26(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G07C 1/20(2006.01) G01S 7/48(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 110543581 A,2019.12.0 6 CN 113269040 A,2021.08.17 CN 110532865 A,2019.12.0 3 CN 115032648 A,202 2.09.09 CN 110363820 A,2019.10.2 2 CN 113569914 A,2021.10.2 9 CN 114114314 A,202 2.03.01 CN 114254696 A,202 2.03.29 CN 112767391 A,2021.0 5.07 CN 113465522 A,2021.10.01 CN 113111751 A,2021.07.13 CN 114266947 A,202 2.04.01 CN 114820800 A,2022.07.29 CN 111275759 A,2020.0 6.12 (续) 审查员 李晓 (54)发明名称 基于可见光和激光雷达点云融合的输电通 道自动巡 检方法 (57)摘要 本发明提供了一种基于可见光和激光雷达 点云融合的输电通道自动巡检方法， 将激光雷达 测距、 基于深度学习的三维点云和可见光图像融 合学习、 三维点云分割相结合， 能够提高了检测 的准确度和效率。 包括如下步骤： 输电通道 航拍， 收集三维点 云和二维可见光图像数据； 构建数据 集； 模型训练； 基于激光雷达点云自动规划航线 巡检； 外破隐患检测与测距； 杆塔本体隐患检测与定位。 [转续页] 权利要求书5页 说明书11页 附图5页 CN 115240093 B 2022.12.23 CN 115240093 B (56)对比文件 CN 114743021 A,202 2.07.12 WO 2022061945 A1,202 2.03.31 WO 2022170878 A1,202 2.08.18 US 11099275 B1,2021.08.24 US 11222217 B1,202 2.01.11 US 11397242 B1,202 2.07.26 US 2022036750 A1,202 2.02.03 US 11403860 B1,202 2.08.02 US 2022207776 A1,202 2.06.30 US 2022198806 A1,202 2.06.23 US 2019291723 A1,2019.09.26 胡远志等.基 于激光雷达点云与图像融合的 车辆目标检测方法. 《汽车安全与节能学报》.2019,(第04期), 陈科羽等.无 人机载多载荷输电线路巡 检方 法研究. 《电力大 数据》 .2020,(第02期), Peiguang Ji ng 等.Learn ing robust affinity graph representati on for multi- view clusteri ng. 《Informati on Sciences》 .2020, Biyuan Yao 等.C hannel resource allocation based o n graph theory and coloring principle i n cellular netw orks. 《2018 IE EE 3rd Internati onal Conference on Cloud Computi ng and Big Data Analysis (ICCCBDA)》 .2018,2/2 页 2[接上页] CN 115240093 B1.一种基于可见光和激光雷达点云融合的输电通道自动巡检方法， 其特征在于： 包括 如下步骤： 步骤S1： 输电通道航拍， 收集三维点云和二维可见光图像数据： 无人机在将要进行巡检 的输电通道范围进行航拍， 航拍过程中使用激光雷达对输电通道进行扫描测距， 记录位置 信息和角度的参数， 航拍结束后对数据进行解析生成三维点云数据， 同时使用摄像机拍摄 可见光图像； 步骤S2： 构建数据集： 对S1中收集到的点云数据和二维图像， 分别按照三维点云分割任 务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进 行预处理， 最后划分训练集、 验证集、 测试集； 步骤S3： 模型训练： 分别使用S2中数据 集构建三维点云分割模型PCI ‑Seg和杆塔隐患目 标检测模型YOLOV5， 进行迭代训练、 验证与测试； 步骤S4： 基于激光雷达点云自动规划航线巡检： 在巡检时， 无人机使用激光雷达扫描仪 扫描输电通道并生成实时点云， 通过S 3中训练得到的点云分割模型对该点云进 行分割得到 杆塔和导线的位置， 基于杆塔和导线计算无 人机飞行总体航线； 步骤S5： 外破隐患检测与测距： 分析S4中的点云分割结果， 检查输电通道中是否存在的 外破隐患， 如果存在， 则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和 输电通道主体的距离， 判断是否存在入侵 输电通道的情况； 步骤S6： 杆塔本体隐患检测与定位： 通过S4中的点云分割结果得到杆塔位置， 无人机在 遇到杆塔时沿着杆塔周围飞行， 并通过摄像机和激光扫描 雷达拍摄二维可见光图像和三 维 点云， 通过三维点云分割定位杆塔上 的拍照点并在拍照点拍摄二维 图像， 将图像信息以及 拍摄点位置信息回传至服务器端， 通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔 是否存在隐患； 所述步骤S3模型训练与推理的过程还 包括： S31： 三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点云分 割模型PCI‑Seg， 整体上是一个编码器 ‑解码器结构， 包括了图片处理流和点云处理流， 集 成 了点云‑二维图像融合模块， 针对点云数据和二 维图像数据进 行融合学习并进 行点云分割， 基于point ‑wise的方式， 用语义图像特征增强点云特征， 最后， 设计了端到端学习框架 来集 成这两个组件， 输出对点云分割的结果， 网络的输入分别是1. 3的点云，  n为输入点云的 点数、 3表示点云的维度； 2. H×3的二维图像， W为图像宽度、  H为图像高度、 3代表图像为 RGB三通道图像； S32： 图片处理流:包括了四个卷积层， 每个卷积层 是由两次3*3的卷积操作、 一次batch   normalization操作和一个ReLU作为激活函数， ， j = 1、 2、 3、 4分别是四个卷积层的输 出； 之后， 经过四个并行的反卷积层恢复到输入图片的尺寸， 然后把它们拼接 在一起以获得丰富的图片语义信息， 最后再 经过一次卷积 操作为图像处 理流的输出 ； S33： 点云处理流： 包括了四次下采样和四次上采样操作， 下采样和上采样分别使用了 SetAbstraction层和Feature  Propagation  层， SA和FP的输 出分别  j = 1、 2、 3、权　利　要　求　书 1/5 页 2 CN 115240093 B 3