(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667984.5 (22)申请日 2021.12.31 (71)申请人 北京信息科技大 学 地址 100192 北京市海淀区清河小营东路 12号 申请人 北京航空航天大 学 (72)发明人 张俊宁　毕泽洋　路明　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 杨明月 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 温室果实识别方法及装置 (57)摘要 本申请提供一种温室果 实识别方法及 装置。 所述方法包括： 将目标图像同时输入训练好的目 标检测网络模 型和训练好的语义 分割网络模型； 根据所述目标检测网络模型， 从所述目标图像中 提取果实特征， 并根据所述语义分割网络模型， 从所述目标图像中提取障碍物特征； 根据所述果 实特征和所述障碍物特征， 对所述目标图像进行 二分类， 确定所述目标图像中果实的采摘类别。 本申请实施例提供的温室果实识别方法可以提 高对在异构环 境中的温室果实的识别准确率， 提 高果实的采摘效率。 权利要求书2页 说明书10页 附图2页 CN 114511701 A 2022.05.17 CN 114511701 A 1.一种温室果实识别方法， 其特 征在于， 包括： 将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型； 根据所述目标检测网络模型， 从所述目标图像中提取果实特征， 并根据所述语义分割 网络模型， 从所述目标图像中提取障碍物特 征； 根据所述果实特征和所述障碍物特征， 对所述目标图像进行二分类， 确定所述目标图 像中果实的采摘类别； 其中， 所述采摘类别为可机摘果实和不可机摘果实。 2.根据权利要求1所述的温室果实识别方法， 其特征在于， 所述根据所述目标检测网络 模型， 从所述目标图像中提取果实特 征， 包括： 根据所述目标检测网络模型中的Focus层， 对所述目标图像进行切片处理， 获取多通道 的特征图； 对各所述特征图进行 特征增强， 获取果实特 征。 3.根据权利要求1所述的温室果实识别方法， 其特征在于， 所述根据所述语义分割网络 模型， 从所述目标图像中提取障碍物特 征， 包括： 根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始 特征； 根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理， 获取所述初始特 征的多尺度信息； 根据所述语义分割 网络模型中的卷积层和解码器， 对所述多尺度信息进行处理， 获取 所述障碍物特 征。 4.根据权利要求1所述的温室果实识别方法， 其特征在于， 所述果实特征包括表示果实 不熟的第一 果实特征、 表示果实中熟的第二 果实特征以及表示 果实成熟的第三 果实特征； 所述根据所述果实特征和所述障碍物特征， 对所述目标图像进行二分类， 确定所述目 标图像中果实的采摘类别， 包括： 当所述果实特征为第三果实特征， 且所述果实特征和所述障碍物特征， 在所述目标图 像中未重 叠时， 确定所述目标图像中果实的采摘类别为可机摘果实。 5.根据权利要求1 ‑4任意一项所述的温室果实识别方法， 其特征在于， 在将果实图像同 时输入训练好的目标检测网络模型和训练好的语义分割网络模型之前， 还 包括： 根据采集到的各温室果实图像， 确定各训练图像； 对各训练图像 中的果实分别进行果实成熟度类别标注后， 输入待训练 的目标检测网络 模型中， 获取 各训练图像的果实特 征； 将各所述训练图像的果实特征， 与各所述训练图像的果实成熟度类别标注进行匹配， 迭代更新所述 目标检测网络模型 的参数， 直至各所述训练图像的果实特征， 与各所述训练 图像的果实成熟度类别标注的匹配度达 到预设条件。 6.根据权利要求5所述的温室果实识别方法， 其特征在于， 所述根据采集到的各温室果 实图像， 确定各训练图像， 包括： 根据采集到的各所述温室果实图像， 对各所述温室果实图像之间进行随机拼接， 获取 各拼接图像； 将各所述温室果实图像和各拼接图像， 组成各 所述训练图像。权　利　要　求　书 1/2 页 2 CN 114511701 A 27.根据权利要求5所述的温室果实识别方法， 其特 征在于， 还 包括： 对各训练图像 中的障碍物分别进行障碍物类别标注后， 输入待训练的语义分割网络模 型中进行图像分割， 获取 各训练图像的障碍物特 征； 根据各所述训练图像的障碍物特征与预设二值图的误差进行反向传播， 迭代更新所述 语义分割网络模型的参数， 直至各所述训练图像的障碍物特征与预设二值图的误差小于预 设值。 8.一种温室果实识别装置， 其特 征在于， 包括： 图像输入模块， 用于将目标图像同时输入训练好的目标检测网络模型和训练好的语义 分割网络模型； 特征提取模块， 用于根据 所述目标检测网络模型， 从所述目标图像 中提取果实特征， 并 根据所述语义分割网络模型， 从所述目标图像中提取障碍物特 征； 果实识别模块， 用于根据所述果实特征和所述障碍物特征， 对所述目标图像进行二分 类， 确定所述目标图像中果实的采摘类别； 其中， 所述采摘类别为可机摘果实和不可机摘果实。 9.一种电子设备， 包括处理器和存储有计算机程序的存储器， 其特征在于， 所述处理器 执行所述计算机程序时实现权利要求1至7任一项所述的温室果实识别方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1至7任一项所述的温室果实识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114511701 A 3