(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210659006.4 (22)申请日 2022.06.13 (65)同一申请的已公布的文献号 申请公布号 CN 114743010 A (43)申请公布日 2022.07.12 (73)专利权人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 张晓波　刘欢　孟昊　张倩然　 王胜利　 (74)专利代理 机构 北京科家知识产权代理事务 所(普通合伙) 11427 专利代理师 杜娇 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06V 20/17(2022.01)G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 114387289 A,202 2.04.22 CN 108319 957 A,2018.07.24 US 2021215481 A1,2021.07.15 CN 112000094 A,2020.1 1.27 CN 112115588 A,2020.12.2 2 CN 108290579 A,2018.07.17 CN 114187297 A,202 2.03.15 CN 112926556 A,2021.0 6.08 US 2022067943 A1,202 2.03.03 DE 1020181285 31 A1,2020.0 5.14 Shengli Wang等.Semantic Segmentati on and Defect Detecti on of Aerial I nsulators of Trans mission Lines. 《Journal of Physics: Co nference Series》 .2021,第1-7页. 刘欢等.输电线路机载L iDAR点云 分类算法 研究. 《工程勘察》 .202 2,(第3期),第62- 66页. 审查员 李哲 (54)发明名称 基于深度学习的超高压输电线路点云数据 语义分割方法 (57)摘要 本发明涉及一种基于深度学习的超高压输 电线路点云数据语义分割方法， 属于超高压输电 线路巡检领域， 具体包括以下步骤： 对实际超高 压输电线路点云数据， 首先利用基于安全缓冲距 离的场景划分方法建立深度学习训练数据集； 然 后利用基于组合系数的两步法稀疏化方法和基 于稀疏后数据及局部位置相关信息重要性的特 征抽象化方法实现深度学习网络模型中的特征 获取； 进而对网络模型进行训练， 得到精确的网 络参数； 最后将测试样本集输入到网络中得到各点类别标签， 从而实现点云数据的语义分割。 本 发明有效解决目前输电线路点云数据深度学习 语义分割中数据集匮乏、 计算效率和计算精度低 下的问题。 权利要求书6页 说明书17页 附图5页 CN 114743010 B 2022.08.26 CN 114743010 B 1.一种基于深度学习的超高压输电线路点云数据语义分割方法， 其特征在于所述方法 包括以下步骤： 步骤1、 超高压输电线路点云数据训练数据集建立； 对于获取的原始点云数据中任意两 个相邻超高压电力线杆塔及其中间点云数据， 利用基于安全缓冲 距离的场景划分方法对数 据进行选取并作为一个场景， 基于该方法对获取 的原始数据进行多次划分得到N个场景数 据， 将各个场景数据中采集的去除地面点后所有点的数据进行类别标记， 包括植被、 杆塔、 导线、 地线、 建筑物和低压电力线6个类别， 其类别标签数值用cls表示， 分别对应1、 2、 3、 4、 5、 6， 将以上建立的包含N个场景数据的点云数据训练集划分为训练样本和验证样本两部 分； 步骤2、 深度 学习网络模型训练； 将步骤1得到的训练样本输入到深度 学习网络模型中， 设置数据预处理参数， 包括单样本集中点数量为NS个， 每次训练过程中单样本集数量为 NTrain个， 训练周期数量为TTrain个， 每个周期训练次数为NTime， 每个周期内每 次训练前 利用预处 理过程实现NTrai n个单样本集选取； 每次训练时， 将利用样本集选取得到的NTrain个单样本集数据 逐一作为输入层进行网 络模型训练， 网络前向传播过程使用5层编码层及5层解码层； 在编码层中， 利用基于组合系 数的两步法稀疏化方法， 包括基于组合系 数的索引法及基于组合系 数的距离判定法， 实现 数据的稀疏化， 同时利用基于稀疏后数据及局部位置相关信息重要性的特征抽象化方法从 各层稀疏化前的输入 数据中得到稀疏化后数据的局部抽象单点特征； NTrain个单样本集输 入数据经前向传播得到各点类别评分后， 利用加权交叉熵损失函数计算损失值， 并根据所 得损失值利用adam优化器进行反向梯度传播， 更新模型参数； 步骤3、 深度学习网络模型验证； 在每个训练周期中， 完成NTime次训练得到最新模型参 数后， 将步骤1中得到的验证样本输入到步骤2所建立的网络模型中， 经过前向传播过程得 到各点预测类别， 根据预测类别与真实类别的匹配情况计算平均交并比值， 作为衡量语义 分割的精度指标； 完成以上TTrain个训练周期后， 存储分割精度最高时对应的网络模型参 数作为最终模型训练结果； 步骤4、 深度 学习网络模型测试； 得到最优网络模型参数后， 对于未经步骤1处理的原始 点云数据中任意两个相邻电力线杆塔及其中间点云数据， 利用基于安全缓冲 距离的场景划 分方法对数据进行选取并作为一个场景， 通过对数据进行划分得到M个场景数据， 将M个场 景数据作为测试集输入步骤3所优化的网络模型中， 经前向传播过程得到各点预测标签并 根据真实标签计算其总体分割精度及各类别分割精度作为精度评定依据， 从而实现超高压 输电线路点云数据的高精度语义分割； 所述步骤2中的网络前向传播过程中采用5层编码层实现点云数据的稀疏化和特征抽 象化， 以步骤1中预处理后的点云数据作为输入层进行点云稀疏化处理， 具体包括以下步 骤； 步骤2.1、 在第1层编码层中， 设输入层的点云数据中单个样本集点的个数为n1， m1为第1 层编码层的稀疏率， m1的取值范围是0到100％， 采用基于组合系数的索引法进行数据稀疏 化， 即首先利用公式(3)计算每次训练时NTrain个单样本集中不同类别的单次训练类别系 数W＝{w1， w2， w3， w4， w5， w6}， 其中wcls,cls＝1,2,3,4,5,6表示每次训练时NTrain个 单样本集 点云数据中第cls个 类别的单次训练类别系数；权　利　要　求　书 1/6 页 2 CN 114743010 B 2公式(3)中， Ncls， cls＝1,2,3,4,5,6表示每次训练时NTrain个单样本集输入层点云数 据中第cls个类别中所有点 的数量， 满足 将输入点云数据根据所有点的数量 进行索引号赋值， 其中每个点的索引号用idxj， j＝1,2, …,n1表示， idxj的取值为1至n1中的 任一个整 数， 且每个点的索引号 都不相同； 然后对每个点根据类别cls数值分别计算距离系 数dcj， j＝1,2, …,n1， 其计算表达式如公式(4)所示， 公式中， dj， j＝1,2, …,n1表示点坐标到当前所在场景杆塔中心连线的水平距离， max {dj}和min{dj}分别表示当前所在场 景中dj的最大值和最小值， cls＝5表示第5个类别， cls ＝6表示第6个 类别； 对于每个索引号idxj， j＝1,2,…,n1， 根据其对应的距离系数和类别系数相乘得到组合 系数Comj， j＝1,2, …,n1， 然后将索引号乘以该索引点对应的组合系数Comj， j＝1,2, …,n1 得到新的索引号n ew_idxj， j＝1,2, …,n1， 最后对新索引号按照值的大小进行升序排列后取 前n1·m1个点作为稀疏化后的采样点， 将 此n1·m1个采样点数据进行特征抽象化处理， 并将 其作为第2层编码层的输入； 步骤2.2、 在第 2层编码层中， 由第1层编码层 输入到第2层的采样点数据个数为n2＝n1· m1， 此外m2为第2层编码层的稀 疏率， m2的取值范围是0到100％， 采用基于组合系数的索引法 根据输入该层的所有点的数量进 行索引号赋值， 并将索引号乘以该索引点对应的组合系数 得到新的索引， 最后对新索引进 行排序后取前n2·m2个点作为稀疏化后的采样点， 将此n2· m2个采样点数据进行 特征抽象化处 理， 并将其作为第3层编码层的输入； 步骤2.3、 在第3层编码层中， 由第2层编码层 输入到第3层的采样点数据个数为n3＝n2· m2， 此外m3为第3层编码层的稀 疏率， m3的取值范围是0到100％， 采用基于组合系数的索引法 根据输入该层的所有点的数量进 行索引号赋值， 并将索引号乘以该索引点对应的组合系数 得到新的索引， 最后对新索引进 行排序后取前n3·m3个点作为稀疏化后的采样点， 将此n3· m3个采样点数据进行 特征抽象化