(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210032892.8 (22)申请日 2022.01.12 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 贾伟宽　刘梦园　王志芬　卢宇琪　 侯素娟　郑元杰　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张勇 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 20/68(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 基于边缘细节的果实分割方法及系统 (57)摘要 本公开属于智慧农业采摘技术领域， 提供了 一种基于边缘细节的果实分割方法及系统， 包括 以下步骤： 获取待分割的果实图像； 根据所获取 的待分割的果实图像和预设的分割模 型， 进行果 实分割； 其中， 所述预设的分割模型包括检测头、 分割头和掩膜头三部分； 所述检测头提取图像的 边界特征； 根据所述分割头和所提取的边界特 征， 提取整张图像的语义信息； 所述掩膜头对所 提取到的整张图像的语义信息进行多阶段分割， 实现果实的分割。 本公开利用边界检测方法， 通 过边界特征进行特征的增强， 所预设的分割模型 同时包含一个 分割头和掩膜头， 同时具备果实的 检测和分割的功能， 解决了果实边缘分割不精确 的问题， 将其应用与果实采摘机器人的视觉系统 中， 使采摘机器人对果实的分割精度和效率明显 提高。 权利要求书1页 说明书6页 附图2页 CN 114612657 A 2022.06.10 CN 114612657 A 1.一种基于边 缘细节的果实分割方法， 其特 征在于， 包括以下步骤： 获取待分割的果实图像； 根据所获取的待分割的果实图像和预设的分割模型， 进行果实分割； 其中， 所述预设的分割模型包括检测头、 分割头和掩膜头三部分； 所述检测头提取图像 的边界特征； 根据所述分割头和所提取的边界特征， 提取整张图像的语义信息； 所述掩膜头 对所提取到的整张图像的语义信息进行多阶段分割， 实现果实的分割。 2.如权利要求1中所述一种基于边缘细节的果实分割方法， 其特征在于， 所述获取待分 割的果实图像的过程中， 采集 不同形态及不同光照条件下的果实图像。 3.如权利要求2中所述一种基于边缘细节的果实分割方法， 其特征在于， 对所采集到的 果实图像进行 人工标注， 通过 添加关键词实现图像的区分。 4.如权利要求1中所述一种基于边缘细节的果实分割方法， 其特征在于， 所述检测头提 取图像的边界特征的过程中， 以特征金字塔目标检测器为基础， 使用特征提取算子， 基于图 像边界所汇集的边界特 征进行原 始图像单个点的特 征增强。 5.如权利要求4中所述一种基于边缘细节的果实分割方法， 其特征在于， 在边界特征增 强的过程中， 以所述特征金字塔作为输入进行图像的分类和边框位置粗糙预测， 基于所得 到的粗糙边框位置和所输入的特征图边界生成含显示边界信息的特征图， 结合边界对齐模 块对所生成的含显示 边界信息的特 征图进行 再次预测， 得到图像的边界特 征。 6.如权利要求5 中所述一种基于边缘细节的果实分割方法， 其特征在于， 所述边界对其 模块以C个通道的特征图作为输入， 接一个1*1卷积和实例归一化来输出边界敏感特征图； 所述边界敏感特 征图包括5个C个通道的特 征图， 其中包括四个边界和一个单点。 7.如权利要求1中所述一种基于边缘细节的果实分割方法， 其特征在于， 所述掩膜头采 用多阶段分割实现果实的分割， 每个阶段均包含实例特征、 实例掩膜、 分割特征和分割掩膜 四个输入， 基于分割融合模块的输入融合， 实现果实的分割； 其中， 所述分割融合模块包含 用于融合多个输入、 减少通道数的1*1卷积和3个并行的3*3卷积， 每个卷积均有不同的参数 设置。 8.一种基于边 缘细节的果实分割 系统， 其特 征在于， 包括： 获取模块， 被 配置为获取待分割的果实图像； 分割模块， 被配置为根据所获取的待分割的果实图像和预设的分割模型， 进行果实分 割； 其中， 所述预设的分割模型包括检测头、 分割头和掩膜头三部分； 所述检测头提取图像 的边界特征； 根据所述分割头和所提取的边界特征， 提取整张图像的语义信息； 所述掩膜头 对所提取到的整张图像的语义信息进行多阶段分割， 实现果实的分割。 9.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时实 现如权利要求1 ‑7中任一项所述的基于边 缘细节的果实分割方法中的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的程 序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基于边缘 细节的果实分割方法中的步骤。权　利　要　求　书 1/1 页 2 CN 114612657 A 2基于边缘细节的 果实分割方 法及系统 技术领域 [0001]本公开属于智慧农 业采摘技术领域， 具体涉及一种基于边缘细节的果实分割方法 及系统。 背景技术 [0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息， 不必然构成在先技 术。 [0003]随着深度学习技术和农业自动化的推动， 果园采摘机器人的应用越来越广泛， 而 果实的精准检测和分割对采摘机器人工作效率发挥着重要的作用。 目前， 果园采摘机器的 视觉系统人对果实完整， 边缘清晰的果实的检测和分割效率较高， 而对于部分果实的分割 效果存在边缘不清晰的问题， 导致采摘机器人的工作效率较低。 因此， 对于部分果 实分割边 缘不清晰的问题成为目前亟 待解决的问题， 也因此 具有较高研究意 义。 [0004]据发明人了解， 国内外学者对于果实的分割问题研究已经取得了一定 的进展， 对 果实的分割精度越来越高， 速度也相应的提高了， 但是， 果 实分割效果中的边缘细节分割精 度还有待提高。 发明内容 [0005]为了解决上述问题， 本公开提出了一种基于边缘细节的果实分割方法及系统， 分 析密集目标检测的特征表示， 用边界特征来补充 单点特征表 示的意义， 利用边界检测方法， 通过边界特征进行特征 的增强， 所预设的分割模型同时包含一个分割头和掩膜头， 同时具 备果实的检测和分割的功 能， 解决了果实边缘分割不精确的问题， 将其应用与果实采摘机 器人的视觉系统中， 使采摘机器人对果实的分割精度和效率明显提高， 进而推动农业自动 化进一步发展。 [0006]根据一些实施例， 本公开的第一方案提供了一种基于边缘细节的果实分割方法， 采用如下技 术方案： [0007]一种基于边 缘细节的果实分割方法， 包括以下步骤： [0008]获取待分割的果实图像； [0009]根据所获取的待分割的果实图像和预设的分割模型， 进行果实分割； [0010]其中， 所述预设的分割模型包括检测头、 分割头和掩膜头三部分； 所述检测头提取 图像的边界特征； 根据所述分割头和所提取的边界特征， 提取整张图像的语义信息； 所述掩 膜头对所提取到的整张图像的语义信息进行多阶段分割， 实现果实的分割。 [0011]作为进一步的技术限定， 所述获取待分割的果实图像的过程中， 采集不 同形态及 不同光照条件下的果实图像。 [0012]进一步的， 对所采集到 的果实图像进行人工标注， 通过添加 关键词实现图像 的区 分。 [0013]作为进一步的技术限定， 所述检测头提取图像的边界特征的过程中， 以特征金字说　明　书 1/6 页 3 CN 114612657 A 3