(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210042666.8 (22)申请日 2022.01.14 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 兰玉彬　王乐乐　刘圣搏　赵英杰　 熊章钧　常坤　王从越　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 代理人 李君 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06T 7/00(2017.01) G06T 7/90(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于机器人采摘的密集李子精准检测 方法及其系统 (57)摘要 本发明公开了一种用于机器人采摘的密集 李子精准检测方法及其系统， 包括以下步骤： 通 过图像采集 设备采集果园果实的图像； 进行检查 处理得到符合要求的目标检测图像； 对目标检测 图像进行不同成熟度果实的数据标注， 获取标注 图像； 将标注图像按比例划分训练集和测试集， 获取训练集中成熟比例果实个数； 根据训练集中 果实成熟比例判定是否需要数据平衡处理； 将平 衡训练集数据进行数据增强处理； 对目标检测模 型进行改进； 通过改进目标检测模 型对数据增强 训练集进行训练和预测， 得到检测结果； 本发明 将深度学习模 型应用于李子的识别采摘， 可部署 在机器人采摘平台， 为果园 的产量估测和采摘机 器人的研究提供技 术支撑。 权利要求书3页 说明书7页 附图3页 CN 114387520 A 2022.04.22 CN 114387520 A 1.一种用于 机器人采摘的密集李子精准检测方法， 其特 征在于， 包括以下步骤： 通过图像采集设备采集 果园果实的图像； 对采集图像进行检查处 理， 得到符合要求的目标检测图像； 通过数据标注工具对目标检测图像进行 数据标注， 获取不同成熟度的标注图像； 将标注图像按比例划分训练集， 获取训练集中成熟果实个数和未成熟果实个数； 根据训练集中果实成熟比例判断是否进行数据平衡处理， 数据平衡处理后得到平衡训 练集； 将平衡训练集数据集进行 数据增强处 理， 得到数据增强训练集； 对目标检测模型进行改进， 得到改进目标检测模型； 通过改进目标检测模型对数据增强训练集进行训练和预测， 得到检测结果。 2.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述通过图像采集设备采集果园果实的图像， 具体为： 通过高清晰移动采集设备进行不同 方向不同距离地图像采集， 获得不同颜色、 不同姿态、 不同大小、 不同背 景、 不同密集遮挡的 RGB图像。 3.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述对采集图像进 行检查处理， 得到 符合要求的目标检测图像， 具体为： 对采集的图像数据 进行质量评估， 质量评估包括图像的清晰度、 背 景复杂度， 删除模糊图像、 未包含果 实图像、 背景复杂图像， 评估合格的图像保留为目标检测图像。 4.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述通过数据标注工具对目标检测图像进行数据标注， 获取不同成熟度的标注图像， 具体 为： 通过图像注释工具对目标检测图像采用划分成熟度的方式进行数据标注， 包含成熟果 实和未成熟果实两个标注类别； 对完全裸露的果实进行外切矩形框的方式标注， 对遮挡和 粘连的果实标注其图像裸露部分， 对图像边界出现部分果实和遮挡程度小于K 的果实不作 标注处理。 5.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 将标注图像按比例划分训练集， 获取训练集中成熟果 实个数和未成熟果 实个数， 具体为： 将 标注图像按8∶2比例划分训练集和预测集； 所述训练集包含验证集， 训练集和验证集比例为 9∶ 1； 通过计算法获取训练集中果 实个数； 所述数据标注是根据果园中果 实颜色划分不同成 熟度， 李子果实颜色红色部分占比大于 0.5被划分为成熟李子， 反 之为未成熟李子 。 6.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述根据训练集中果实成熟比例进 行数据平衡处理， 得到平衡训练集， 具体为： 若训练集中 成熟果实和不成熟果实比例大于等于1， 则不进 行数据平衡处理， 若训练集中成熟果 实和不 成熟果实比例小于1， 则进行 数据平衡处 理， 数据平衡处 理如下： S601、 假设有数据集s＝[M1,M2,...,Mi][N1,N2,...,Nj]T， 其中Mi表示数据集样本的种 类， Nj表示每一种样本的数量； S602、 比较该 数据集中所有类的样本数量 值MiNj， 找出所有类中最大值MiNjmax； S603、 使用MiNjmax依次除以剩余类的样本数量 值MiNj， 得到除数C；权　利　要　求　书 1/3 页 2 CN 114387520 A 2S604、 选择一种数据量扩增方式， 根据除数C对剩余类进行数据量扩增， 使得所有类别 样本数量向最大值方向扩增， 得到 MiN′j， 最终使各类别数量的比值接 近于1； S605、 最终输出 得到扩增后的数据集T＝[M1,M2,...,Mi][N′1,N′2,...,N′jmax]T。 7.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述将平衡训练集数据集进行数据增强处理， 得到数据增强训练集， 具体为： 利用随机组合 方式对训练集进行离线数据增强处理， 包含高斯模糊、 随机旋转、 随机裁掉图像部分区域、 直方图均衡化、 随机亮度调整、 椒盐噪声。 8.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述对目标检测模型进行改进， 得到改进目标检测模型， 具体为： 以YOLOv4 为改进目标检测模型的基础， 改进目标检测模型； S801、 使用MobilenetV3代替CSPDarknet53作为骨干特征提取网络， 并在特征 融合阶段 使用深度可分离卷积取代标准卷积； S802、 构建多尺度融合的网络结构； S803、 对来自特 征金字塔网络特 征融合后输出的4个特 征层进行剪枝操作； S804、 改进损失函数； 使用Focal  Loss替代原有YOLOv4损失函数 中的BCE Loss， 与CIOU   loss形成联合损失函数平衡难分类样本和易分类样本对总损失的贡献度， 其计算公式为： 其中， y为样本标签数量； pt表示属于李子类别的概率； at为平衡正负样本权重的系数， 0 ＜at＜1； γ为难易样本的调制参数， (1 ‑pt)γ被用来调节难易样本的权 重。 9.根据权利要求1所述的一种用于机器人采摘的密集李子精准检测方法， 其特征在于， 所述通过改进目标检测模型对数据增强训练集进行训练和预测， 得到检测结果， 具体为： S901、 运行t rain.py开始训练训练集； S902、 模型训练完毕后， 运行test.py检测模型的性能； S903、 得到模型的检测结果指标， 所述指标包括平均 准确度均值、 计算某一类别的平均 准确度。 10.一种用于 机器人采摘的密集李子精准检测系统， 其特 征在于， 包括： 图像采集设备， 用于采集 果园果实的图像； 图像处理模块， 用于对 采集图像进行检查处 理， 得到符合要求的目标检测图像； 数据标注模块， 用于对目标检测图像进行 数据标注， 获取 标注图像； 标注划分模块， 用于将标注图像按比例划分训练集和测试集， 获取训练集中熟果实个 数和未成熟果实个数； 平衡处理模块， 根据训练集中果实成熟比例进行 数据平衡处 理， 得到平衡训练集； 数据增强模块， 将平衡训练集数据集进行 数据增强处 理， 得到数据增强训练集；权　利　要　求　书 2/3 页 3 CN 114387520 A 3