(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219375.8 (22)申请日 2022.09.30 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 邓建华　李龙　王静雅　赵建恒　 陈昱辰　代铮　何佳霓　杨杰　 秦琪怡　陶泊昊　郑凯文　苟晓攀　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01)G06V 10/28(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的无人机关键部件实时 视频语义分割方法 (57)摘要 本发明公开了一种基于深度学习的无人机 关键部件实时视频语义分割方法， 属于图像的语 义分割技术领域。 本发明通过收集网络上所有出 现无人机的场景， 并对连续多帧进行拆分， 标注 关键帧后进行数据增强， 得到无人机视频语义分 割数据集， 使用多分支特征提取网络， 对视频帧 进行特征学习， 将多分支特征融合补充， 达到深 层网络特征提取效果， 以达到相同精度下提升网 络速度的效果； 使用光流信息将分割阶段的低级 特征对称融合到后续卷积阶段， 保证边缘细 节不 在卷积网络中丢失， 保证了边缘分割到精度， 为 后续利用边缘信息的中心点计算提供保证。 本发 明根据视频语义分割识别结果， 基于像素替换和 二值化处理等获取目标部件轮廓及中心点， 提升 了易用性。 权利要求书2页 说明书7页 附图4页 CN 115497027 A 2022.12.20 CN 115497027 A 1.一种基于深度学习的无人机关键部件实时视频语义分割方法， 其特征在于， 包括如 下步骤： 步骤1， 建立数据集： 基于网络资源对所有无人机出现的场景图像进行采集， 并对采集的图像进行目标部件 的图像标注和数据增强后， 获得若干个以连续指 定帧数的图像作为一个场景片段的视频语 义分割数据集； 步骤2， 构建并训练视频语义分割网络： 所述视频语义分割 网络包括M条特征提取网络支路， 每条特征提取网络支路包括多层 卷积层和用于光流对齐处理并上采样的光流传播模块， 将M条特征提取支路的输出特征图 进行拼接融合， 再经编码网络和注 意力模块后输入 带Softmax函数的全连接层， 以输出各目 标部件的概 率信息； 基于视频语义分割数据集对视频语义分割网络进行训练， 完成训练后取 得最优模型； 步骤3， 将待识别的视频序列输入步骤2得到的最优模型， 基于其输出得到识别结果， 其 中待识别的视频序列长度与视频语义分割数据集的场景片段的帧数相同； 对识别结果进行关键点处理： 对识别结果进行像素替换， 保留目标部件， 再进行二值化 处理后基于轮廓获取 处理得到目标部件的轮廓； 基于目标部件的轮廓计算图像中心矩得到 目标部件的中心点并可视化输出。 2.如权利要求1所述的方法， 其特征在于， 所述步骤1中， 目标部件的图像标注具体为： 对无人机的目标部件用连续的点进行框选， 对不同类别的目标部件采用不同标位的像素 值。 3.如权利要求1所述的方法， 其特征在于， 所述步骤1中， 数据增强包括： 图像翻转、 旋 转、 缩放比例、 裁 剪和移位。 4.如权利要求1所述的方法， 其特征在于， 所述步骤2中， 每条特征提取网络支路具体设 置为： 第一层卷积层包 含一个3*3的卷积和一个3 *3的残差结构， 输出通道数为16； 第二层卷积层卷积核大小为3*3的2个残差结构和一个卷积核为5*5的残差结构， 输出 通道个数为 40； 第三层卷积层为卷积核大小为5 *5的五个残差结构组成， 输出通道为96； 第四层卷积核的大小为5 *5的2个残差结构， 输出通道个数为96； 第五层为3 *3的池化层； 第五层网络后接入金字塔池化网络， 并将第 三层网络与 金字塔池化网络的输出进行光 流对齐处理并上采样得到第六层， 以及将第二层网络与第六层输出进 行光流对齐处理并上 采样得到第七层， 再将第一层网络与第七层网络输出进行光流对起处理并上采样后再融合 第六层和第七层的光 流对齐处 理结果， 得到特 征提取网络支路的输出 特征图。 5.如权利要求1至4任一项所述的方法， 其特征在于， 所述步骤2中， 训练视频语义分割 网络时， 利用反向传播算法和梯度下降法训练， 通过计算无人机每一类的交并比值对网络 的每一层权 重值进行调整， 反复迭代直到得到最大的交并比值。 6.如权利要求1所述的方法， 其特征在于， 所述步骤3 中， 对识别结果进行关键点处理具 体包括：权　利　要　求　书 1/2 页 2 CN 115497027 A 2基于识别结果利用像素替换， 对目标部件进行筛 选； 基于识别结果对单个物体使用最大联通域算法， 筛选最大目标， 防止识别结果影响中 心点计算； 基于识别结果进行二 值化得到目标部件的轮廓； 基于目标部件的轮廓计算图像中心 矩得到目标部件的中心点并可视化输出。权　利　要　求　书 2/2 页 3 CN 115497027 A 3