(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210857999.6 (22)申请日 2022.07.20 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号 (72)发明人 李少瑞　祝振昌　徐南豪　朱琴　 蔡宴朋　杨志峰　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 潘桂生 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06V 10/44(2022.01)G06V 10/54(2022.01) G06V 10/56(2022.01) G06V 10/25(2022.01) G06T 7/62(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于无人机检测的海岸带垃圾识别方法、 装 置以及设备 (57)摘要 本发明涉及图像检测技术领域， 特别涉及一 种基于无人机检测的海岸带垃圾识别方法， 包 括： 获取无人机拍摄的样本区域的样本航拍集以 及标记数据集， 将样本航拍集以及标记数据集输 入至预设的卷积神经网络模型， 获得卷积神经网 络模型输 出的特征训练数据库， 并将特征训练数 据库输入待训练的神经网络模型中进行训练， 获 取海岸带垃圾识别模型； 响应于识别指令， 识别 指令包括无人机拍摄的待识别区域的航拍图像， 将待识别区域的航拍图像输入至海岸带垃圾识 别模型中， 获取待识别区域的航拍图像的垃圾区 域识别结果； 响应于显示指令， 获取待识别 区域 的航拍图像对应的电子地图数据， 根据待识别的 航拍图像的垃圾区域识别结果， 并对 垃圾识别区 域进行显示以及标注。 权利要求书2页 说明书8页 附图4页 CN 115272887 A 2022.11.01 CN 115272887 A 1.一种基于无 人机检测的海岸带 垃圾识别方法， 其特 征在于， 包括以下步骤： 获取无人机拍摄的样本区域的样本航拍集以及标记数据集， 其中， 所述样本航拍集包 括若干个样本航拍图像， 所述样本航拍图像包括垃圾区域， 所述标记数据集包括所述若干 个样本航拍图像的垃圾区域的位置参数； 将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型， 获得所述卷积神 经网络模型输出的特征训练数据库， 并将所述特征训练数据库输入待训练的神经网络模型 中进行训练， 获取海岸带 垃圾识别模型； 响应于识别指令， 所述识别指令包括无人机拍摄的待识别区域的航拍图像， 将所述待 识别区域的航拍图像输入至所述海岸带垃圾识别模型中， 获取所述待识别区域的航拍图像 的垃圾区域识别结果； 响应于显示指令， 获取所述待识别区域的航拍图像对应的 电子地图数据， 根据所述待 识别的航拍图像的垃圾区域识别结果， 在所述电子地图数据上进行垃圾区域的框选， 获取 所述待识别的航拍图像的垃圾识别区域， 并对所述垃圾识别区域进行显示以及标注。 2.根据权利要求1所述的基于无人机检测的海岸带垃圾识别方法， 其特征在于， 所述将 所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型中进 行训练， 获得海岸带 垃圾识别模型之前， 包括 步骤： 对所述样本航拍集中若干个样本航拍图像进行缩放处理， 获取若干个缩放处理后的样 本航拍图像。 3.根据权利要求1所述的基于无人机检测的海岸带垃圾识别方法， 其特征在于： 所述卷 积神经网络模型为MaskRCNN网络模型， 所述MaskRCNN网络模型包括依次相连的特征提取 层、 特征区域选取层以及边框 裁剪池化层。 4.根据权利要求3所述的基于无人机检测的海岸带垃圾识别方法， 其特征在于， 所述将 所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型， 获得所述卷积神经网络 模型输出的特 征数据库， 包括 步骤： 将所述样本航拍集以及标记数据集输入所述特征提取层中， 根据 预设的若干个缩放尺 度， 对所述各个样本航拍图像的垃圾区域进行缩放处理， 获得所述各个样本航拍图像对应 的若干个缩放尺度的子样本航拍图像， 并获得所述若干个缩放尺度的子样本航拍图像的第 一特征图； 获得所述若干个缩放尺度的子样本航拍图像的第一特征图输入至所述特征区域选取 层中， 根据预设的边框参数， 获得所述若干个缩放尺度的子样本航拍图像的第一特征图中， 各个像素点对应的若干个边框， 并从所述各个像素点对应的若干个边框中提取若干个目标 边框， 根据所述若干个目标边框， 获取所述若干个缩放尺度的子样本航拍图像的各个像素 点对应的若干个目标边框对应的特 征图； 将所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应 的特征图输入至所述边框裁剪池化层中， 进行裁剪以及池化处理， 获取处理后的所述若干 个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图对应的 特征区域， 作为所述特 征训练数据库。 5.根据权利要求4所述的基于无人机检测的海岸带垃圾识别方法， 其特征在于， 所述从 所述各个 像素点对应的若干个边框中提取若干个目标边框， 包括 步骤：权　利　要　求　书 1/2 页 2 CN 115272887 A 2计算所述各个 像素点对应的若干个边框的物体 检测概率； 根据所述物体检测概率以及预设的检测概率阈值， 从所述各个像素点对应的若干个边 框中提取若干个目标边框， 获取 所述若干个目标边框对应的特 征图。 6.根据权利要求1所述的基于无人机检测的海岸带垃圾识别方法， 其特征在于， 所述获 取垃圾识别区域， 并对所述垃圾识别区域进行显示以及标注， 还 包括步骤： 获取所述待识别的航拍图像的垃圾识别区域的像素面积， 根据 所述像素面积以及预设 的面积换算比例， 获取所述待识别的航拍图像的垃圾识别区域的面积参数， 根据所述待识 别的航拍图像的垃圾识别区域的面积参数， 在所述电子地图数据上进 行面积参数的显示以 及标注。 7.一种基于无 人机检测的海岸带 垃圾识别装置， 其特 征在于， 包括： 获取模块， 用于获取无人机拍摄的样本区域的样本航拍集以及标记数据集， 其中， 所述 样本航拍集包括若干个样本航拍图像， 所述样本航拍图像包括垃圾区域， 所述标记数据集 包括所述若干个样本航拍图像的垃圾区域的位置参数； 训练模块， 用于将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型， 获得所述卷积神经网络模型输出的特征训练数据库， 并将所述特征训练数据库输入待训练 的神经网络模型中进行训练， 获取海岸带 垃圾识别模型； 识别模块， 用于响应于识别指令， 所述识别指令包括无人机拍摄的待识别区域的航拍 图像， 将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中， 获取所述待识别 区域的航拍图像的垃圾区域识别结果； 显示模块， 用于响应于显示指令， 获取所述待识别区域的航拍图像对应的 电子地图数 据， 根据所述待识别的航拍图像的垃圾区域识别结果， 在所述电子地图数据上进行垃圾区 域的框选， 获取所述待识别的航拍图像的垃圾识别区域， 并对所述垃圾识别区域进行显示 以及标注。 8.一种计算机设备， 其特征在于， 包括： 处理器、 存储器以及存储在所述存储器上并可 在所述处理器上运行的计算机程序； 所述计算机程序被所述处理器执行时实现如权利要求 1至6中任一项所述的基于无 人机检测的海岸带 垃圾识别方法的步骤。 9.一种存储介质， 其特征在于： 所述存储介质存储有计算机程序， 所述计算机程序被处 理器执行时实现如权利要求1至6任一项所述的基于无人机检测的海岸带垃圾识别方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115272887 A 3