(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210032889.6 (22)申请日 2022.01.12 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 贾伟宽　刘杰　赵瑞娜　徐莹　 赵艳娜　郑元杰　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张勇 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01)G06V 20/68(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种遮挡环境下的果实检测方法及系统 (57)摘要 本公开属于农业机械技术领域， 提供了一种 遮挡环境下的果实检测方法及系统， 包括以下步 骤： 获取待检测果实的图像； 对所获取的图像进 行图像特征的提取与融合， 得到融合后的图像特 征； 根据所得到的融合后的图像特征和遮挡检测 模型进行果实检测； 其中， 所述遮挡检测模型 以 图像损失函数最小为目标函数， 采用双层图卷积 网络实现果实检测。 本公开在保证检测精度的前 提下提升检测速度， 解决了以往 水果检测和分割 方法中精度与速度之间相互矛盾的难题， 满足了 实际果园生产中的实际作业需求。 权利要求书1页 说明书6页 附图5页 CN 114612760 A 2022.06.10 CN 114612760 A 1.一种遮挡环境下的果实检测方法， 其特 征在于， 包括以下步骤： 获取待检测果实的图像； 对所获取的图像进行图像特 征的提取与融合， 得到融合后的图像特 征； 根据所得到的融合后的图像特 征和遮挡检测模型进行果实检测； 其中， 所述遮挡检测模型以图像损 失函数最小为目标函数， 采用 双层图卷积网络实现 果实检测。 2.如权利要求1中所述的一种 遮挡环境下的果实检测方法， 其特征在于， 所述获取待检 测果实的图像为各种环境下的果实图像， 其中各种环境包括不同时间段、 不同天气、 不同光 照角度和不同遮挡情况。 3.如权利要求1中所述的一种 遮挡环境下的果实检测方法， 其特征在于， 图像特征提取 的过程中， 基于优化的ResNet进行图像特 征的提取。 4.如权利要求1中所述的一种 遮挡环境下的果实检测方法， 其特征在于， 图像特征融合 的过程中， 采用特征金字塔， 通过横向连接和每个特征图之间自上而下 的融合进行特征整 合， 得到融合后的图像特 征。 5.如权利要求4中所述的一种 遮挡环境下的果实检测方法， 其特征在于， 在得到 融合后 的图像特征之后， 在所述特征金字塔的基础上嵌入非局部模块， 进行图像特征 的精细化处 理。 6.如权利要求1中所述的一种 遮挡环境下的果实检测方法， 其特征在于， 所述遮挡检测 模型处理融合后的图像特征， 将遮挡部分和被遮挡部分进行区分， 将区分后的图像特征进 行分布处理； 其中， 第一层图卷积网络用于检测轮廓和处理被遮挡部 分， 实现对被遮挡部分 的轮廓预测和掩膜回归； 第二层图卷积网络用于处理遮挡部分， 实现对遮挡部分的轮廓预 测和掩膜回归。 7.如权利要求1中所述的一种 遮挡环境下的果实检测方法， 其特征在于， 所述图像损失 函数包括检测阶段损失子函数、 被遮挡分支损失子函数和遮挡分支损失子函数。 8.一种遮挡环境下的果实检测系统， 其特 征在于， 包括： 获取模块， 被 配置为获取待检测果实的图像； 融合模块， 被配置为对所获取的图像进行图像特征的提取与融合， 得到融合后的图像 特征； 检测模块， 被 配置为根据所得到的融合后的图像特 征和遮挡检测模型进行果实检测； 其中， 所述遮挡检测模型以图像损 失函数最小为目标函数， 采用 双层图卷积网络实现 果实检测。 9.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时实 现如权利要求1 ‑7中任一项所述的遮挡环境下的果实检测方法中的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的程 序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的遮挡环 境 下的果实检测方法中的步骤。权　利　要　求　书 1/1 页 2 CN 114612760 A 2一种遮挡环境下的 果实检测方 法及系统 技术领域 [0001]本公开属于农业机械技术领域， 具体涉及一种遮挡环境下的果实检测方法及系 统。 背景技术 [0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息， 不必然构成在先技 术。 [0003]随着深度学习技术的逐渐成熟， 将这场新的革命移植到各个行业以获得更好的效 果已经成为一种普遍现象， 这也刺激了农业领域自动机器人 的发展。 视觉系统作为农业机 器人最基本而重要的部分， 用于从复杂多样的场景中解析指定的目标， 已被广泛用于许多 实际应用中， 如水果产量估计、 作物生长监测、 疾病检测等。 而视觉识别系统作为果蔬采摘 机器人的重要组成部分， 其果实检测的准确 率、 效率以及在 复杂背景条件下 的鲁棒性都将 极大程度影响到采摘机器人的采摘质量。 [0004]但是， 在复杂的果园环境下， 视觉系统易受光照强度和角度、 树叶遮挡、 果实颜色 等多种因素的干扰， 给目标果实的有效检测带来巨大挑战。 [0005]据发明人了解， 果实检测一般采用机器学习与深度学习两个方向： 其中， 在 基于机 器学习的方法往往伴 随图像预处理、 特征 的选择与提取等一系列复杂操作， 且模型 的识别 效果也极易受到这些操作的影响； 除此之外， 这种 方法均基于目标果实的颜色、 纹理、 形状 等其它表征 的组合进行目标果实的检测， 当果实表面出现由于光照 强度、 角度或自然环境 等因素造成的纹理特征不明显； 枝干、 树叶遮挡或果 实间相互重叠等因素造成的形状缺 失； 目标果实与同色系枝叶背景造成的颜色干扰等问题都会使得该类方法对目标果实的识别 精度明显下降。 基于深度学习的检测模型中， 其精度及适用性相较于传统视觉方法均有大 幅提升， 但该类方法需要大量的计算及存储资源， 速度上尚不能满足采摘机器人对实时性 的需求， 此外， 在实际的果园采摘时还需要综合 考虑采摘机器人的功耗及稳定问题。 发明内容 [0006]为了解决上述问题， 本公开提出了一种遮挡环境下的果实检测方法及系统， 在保 证检测精度的前提下提升检测速度， 解决了以往水果检测和分割方法中精度与速度之 间相 互矛盾的难题， 满足了实际果园生产中的实际作业需求。 [0007]根据一些实施例， 本公开的第一方案提供了一种遮挡环境下的果实检测方法， 采 用如下技 术方案： [0008]一种遮挡环境下的果实检测方法， 包括以下步骤： [0009]获取待检测果实的图像； [0010]对所获取的图像进行图像特 征的提取与融合， 得到融合后的图像特 征； [0011]根据所得到的融合后的图像特 征和遮挡检测模型进行果实检测； [0012]其中， 所述遮挡检测模型以图像损失函数最小为目标函数， 采用双层图卷积网络说　明　书 1/6 页 3 CN 114612760 A 3