(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211277230.3 (22)申请日 2022.10.19 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 肖克辉　杨小丹　杨宏　苏章顺　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 戴晓琴 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/22(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 番茄成熟度及空间位置的检测方法、 装置、 设备及介质 (57)摘要 本发明公开了一种番茄成熟度与空间位置 的检测方法、 装置、 电子设备及存储介质， 该方法 包括： 获取番茄图像数据集并对 数据集中的图像 中番茄的位置和成熟度类别进行标注， 利用番茄 图像数据集及标注对成熟度检测网络模型进行 训练； 成熟度检测网络模型基于深度学习的 YOLOv4‑tiny网络模型改进， 其中Backbone为 CSPdarknet53 ‑tiny， 在其最后两层输出及FPN结 构中分别增加注意力机制； 构建包括训练好的成 熟度检测网络模型以及通过计算机视觉技术获 取番茄的三维空间位置的检测模 型； 将待测番茄 的图像输入检测模型， 实时输出番茄成熟度与空 间位置。 本发 明通过将深度学习与计算机视觉技 术结合， 检测速度快、 识别率高。 权利要求书2页 说明书8页 附图5页 CN 115497090 A 2022.12.20 CN 115497090 A 1.一种番 茄成熟度与空间位置的检测方法， 其特 征在于， 所述方法包括： 采集番茄图像， 根据番茄图像构建番茄图像数据集并对所述番茄图像数据集中的图像 中番茄的位置和成熟度类别进行 标注； 利用所述番茄图像数据集及标注对番茄成熟度检测网络模型进行训练； 所述番茄成熟 度检测网络模型基于深度学习的YOLOv4 ‑tiny网络模型改进， 其中Backbone为 CSPdarknet53‑tiny， 在Backbone最后两层的输出及FPN结构中分别增 加注意力机制； 构建包括训练好的番茄成熟度检测网络模型以及通过计算机视觉技术获取番茄的三 维空间位置的检测模型； 所述检测模型用于利用番茄成熟度检测网络模型识别图像中番茄 的成熟度类别； 若成熟度类别为完熟期， 再通过计算机视觉技术根据番茄成熟度检测网络 模型得到的预测框获取番 茄的三维坐标并计算番 茄预测框中心到摄 像头的距离； 将待测番 茄的图像输入所述检测模型中， 实时输出番 茄的成熟度与三维空间位置 。 2.根据权利要求1所述的检测方法， 其特征在于， 所述利用番茄成熟度检测网络模型识 别图像中番 茄的成熟度类别， 包括： 将番茄图像数据集中的图像通过番茄成熟度检测网络模型的输入端输入Backbone中， 依次经过2个BasicConv块和3个Resblock_body块运算后输出out0， out0再经过BasicConv 块后输出out1； 对out1增 加注意力机制后再 经过卷积， 输出out 2； 对out2进行卷积和上采样操作后， 再增加注意力机制， 输出的结果与out0增加注意力 机制后的结果进行 连接和卷积 操作后输出out3； 利用YOLO  Head对out2和out3分别进行操作后获得两个特征层的预测结果进行解码后 获得预测结果result1和result2， 再对result1和result2进行得分排序和非极大抑制筛 选， 得到番 茄的成熟度类别。 3.根据权利要求1所述的检测方法， 其特征在于， 在获取图像中番茄的三维坐标之前， 需要对双目相机进行参数 标定、 立体校正以及 双目立体匹配。 4.根据权利要求3所述的检测方法， 其特 征在于， 所述 参数标定， 包括： 将双目相机摆放在固定位置； 将棋盘格多次旋转， 利用双目相机进行拍摄多组照片， 其中， 每组照片分别为左右摄像 头同时拍摄同一张棋盘 格图； 将拍摄的多组照片导入MATLAB中获取相机左右摄 像头的内外参数。 5.根据权利要求3所述的检测方法， 其特 征在于， 所述 立体校正， 包括： 根据参数标定后获得的单目内参数据和双目相对位置关系， 分别对左右视图进行消除 畸变和行对准， 使得左右视图的成像原点坐标一致、 两摄像头光轴平行、 左右成像平面共 面、 对极线行对齐。 6.根据权利要求3所述的检测方法， 其特征在于， 通过计算机视觉技术获取图像中番茄 的三维坐标并计算番 茄中心到摄 像头的距离， 包括： 通过双目立体匹配把同一场景的经过立体校正的左右视图上对应的像素点匹配起来， 输出结果为参考图像每个像素对应的视差图， 根据视差图计算深度图， 再 由深度图获取番 茄预测框中心点的位置与番 茄到摄像头的距离信息 。 7.根据权利要求1～6任一项所述的检测方法， 其特征在于， 所述采集番茄图像， 包括拍权　利　要　求　书 1/2 页 2 CN 115497090 A 2摄不同时间段、 不同光照强度下的番 茄， 获取不同成熟度番 茄的图像； 番茄的成熟度类别包括绿熟期、 转色期和完熟期。 8.一种番 茄成熟度与空间位置的检测装置， 其特 征在于， 所述装置包括： 数据集及标注获取模块， 用于采集番茄图像， 根据番茄图像构建番茄图像数据集并对 所述番茄图像数据集中的图像中番 茄的位置和成熟度类别进行 标注； 番茄成熟度检测网络模型训练模块， 用于利用所述番茄图像数据集及标注对番茄成熟 度检测网络模型进行训练； 所述番茄成熟度检测网络模型基于深度学习的YOLOv4 ‑tiny网 络模型改进， 其中Backbone为CSPdarknet53 ‑tiny， 在Backbone最后两层的输出及FPN结构 中分别增 加注意力机制； 检测模型构建模块， 用于构建包括训练好的番茄成熟度检测网络模型以及通过计算机 视觉技术 获取番茄的三 维空间位置的检测模型； 所述检测模型用于利用番茄成熟度检测网 络模型识别番茄图像中番茄的成熟度类别； 若成熟度类别为完熟期， 再通过计算机视觉技 术根据番茄成熟度检测网络模型得到的预测框获取番茄的三维坐标并计算番茄预测框中 心到摄像头的距离； 成熟度与位置输出模块， 用于将待测番茄的图像输入所述检测模型中， 实时输出番茄 的成熟度与三维空间位置 。 9.一种电子设备， 包括处理器以及用于存储处理器可执行程序的存储器， 其特征在于， 所述处理器执行存储器存储的程序时， 实现权利要求1 ‑7任一项所述的番茄成熟度与空间 位置的检测方法。 10.一种存储介质， 存储有程序， 其特征在于， 所述程序被处理器执行时， 实现权利要求 1‑7任一项所述的番 茄成熟度与空间位置的检测方法。权　利　要　求　书 2/2 页 3 CN 115497090 A 3