(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210308755.2 (22)申请日 2022.03.28 (71)申请人 安徽农业大 学 地址 230036 安徽省合肥市长江西路13 0号 (72)发明人 李亦璞　饶元　罗庆　王丰仪　 束雅丽　金秀　万天与　 (74)专利代理 机构 安徽知问律师事务所 34134 专利代理师 王泽洋 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于机器视觉的果实检测及产量估计 方法及系统 (57)摘要 本发明公开一种基于机器视觉的果实检测 及产量估计方法及系统， 涉及人工智能目标识别 及应用技术领域。 针对现有技术中果实产量估计 不够准确的问题， 本发明采集三个视角的果实视 频流数据集； 设计基于Transformer编码器与注 意力特征融合机制的CSP模块， 集成入YOLOv5中 构建基于多级特征融合颈部的目标检测模型 YOLOv5‑FF； 采用Focal  EIoU Loss作为边框损失 函数训练以得到果实目标检测模型， 将YOLOv5 ‑ FF模型对果实视频流连续帧图像的检测结果输 入目标跟踪模型Deep  Sort， 通过级联匹配与IoU 匹配机制为匹配成功的果实分配专属 编号， 得到 多视角下的果实数量， 提高果实检测 效率， 部署 方便、 检测高效精准的特点； 提出的产量估计模 型能够实现果园产量的高精度测算。 权利要求书3页 说明书12页 附图6页 CN 114663814 A 2022.06.24 CN 114663814 A 1.一种基于 机器视觉的果实检测及产量估计方法， 其特 征在于， 包括以下步骤： 步骤1： 采集至少三个角度的果树数据， 并通过采集到的数据构建多视角视频流数据 集； 步骤2： 提取 数据集的数据特 征， 将数据特 征集成输出融合特 征图； 步骤3： 改进特 征提取模块， 构建多 级特征融合颈 部得到果实目标检测模型； 步骤4： 通过采集到的数据对构建的果实目标检测模型进行训练、 验证和 测试； 步骤5： 通过果实目标检测模型和果实目标跟踪模型， 确认目标果树的样本数据， 所述 样本数据包括 根据模型 得到的果 树计数值与该垄的真实产量； 步骤6： 通过多条样本数据， 构建果实目标产量估计数据集， 训练果实产量估计模型； 步骤7： 通过果实产量估计模型进行果实产量估计， 优化模型参数。 2.根据权利要求1述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于， 采 集三个角度果 树数据时， 步骤1包括以下步骤： 步骤101： 使用深度相机采集同一 树垄的双侧视频流数据； 步骤102： 使用深度相机采集同一 树垄的上 方的视频流数据； 步骤103： 在不同时段、 不同光照条件下重复多次采集多个树垄不同距离的三个视角视 频流数据， 并对同一 树垄的视频流数据进行整合， 构建三个视角视频流数据集； 步骤104： 遍历采集到数据流中的彩色图像和深度图像， 通过深度图像去杂， 公式为： 其中， w,h,c表示图像的宽度、 长度和通道。 RGB,Depth分别表示彩色图像与深度图像， RGB(·)， Depth(·)分别表示彩色图像、 深度图像的某一像素点， i,j,n分别表示图像宽度、 长度和通道的序号。 3.根据权利要求1所述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于， 步骤2包括以下步骤： 步骤201： 使用Transformer编码器替换原始特征融合CSP模块中特征提取通路中的 BottleNeck特 征提取模块， 提取 出感受野较大的特 征图Y； 步骤202： 使用注意力特征融合模块接收特征融合CSP模块中特征提取通路输出的感受 野较大的特 征图Y与残差连接通路输出的感受野较小的特 征图X； 步骤203： 在注意力特征融合模块中， 对小感受野特征图输入X与大感受野特征图输入Y 进行特征集成， 通过通道注意力机制 模块中的两条通路提取权重， 得到融合权重M(X ⊕Y)， 重分配到特 征图X与Y上； 步骤204： 通过Sigmoid激活函数将融合权重M(X ⊕Y)的值域压缩到[0,1]， 小感受野特 征图输入X直接与M(X ⊕Y)矩阵相 乘， 大感受野特征图输入Y与1 ‑M(X⊕Y)矩阵相 乘， 再将二 者特征集成后输出融合特 征图， 公式为： 其中，⊕代表矩阵加法， 代表矩阵乘法。权　利　要　求　书 1/3 页 2 CN 114663814 A 24.根据权利要求3所述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于， 步骤3包括构建多级 特征融合颈部， 用于替换Y OLOv5中的原始颈部， 得到果 实目标检测模 型 YOLOv5‑FF。 5.根据权利要求4所述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于， 将中等尺度特征图输出通路 的CSP模块替换为步骤2 中基于特征融合的CSP模块， 将小尺度 特征图输出通路的CSP模块替换为Transformer编码器， 保留大尺度特征图输出通路的CSP 模块， 构建多 级特征融合颈 部。 6.根据权利要求5所述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于， 步骤4包括以下步骤： 步骤401： 预处 理采集的视频流数据， 分为训练集、 验证集和 测试集； 步骤402： 采用Focal  EIoU Loss作为YOLOv5 ‑FF的边框损失函数， 输入训练集， 训练 YOLOv5‑FF网络， 同时输入验证集， 验证模型泛化能力， 设置阈值α， 待验证集损失值小于α， 训练终止， 得到果实目标检测模型； Focal EIoU Loss的计算公式为： LFocalEIoU＝IoUγLEIoU 其中， A,B分别表示预测框与真实框的面积， b,bgt分别表示预测框与真实框的中心点， ρ2(·)表示欧氏距离， c表 示预测框与真实框的最小外界矩形的对角线距离， Cw,Ch分别表示 预测框与真实框闭包的宽和高， w,wgt和h,hgt分别表示预测框与真实框的宽与高， γ为用于 控制曲线弧度的超参； 步骤403： 采用平均 准确率AP作为评估指标， 输入测试集， 评估果实目标检测模型性能， 设置阈值β， 若测试集平均准确率小于β， 优化关键超参数， 重新输入数据训练， 待测试集平 均准确率大于β， 得到最终果实产量估计模型， 平均准确率AP计算公式为： 其中， AP表示平均准确率； p表示 准确率； r 表示召回率。 7.根据权利要求6所述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于， 步骤5包括从采集的数据集中取出某垄目标果树单个视角的视频流数据， 将视频流逐帧输 入果实目标检测模 型YOLOv5 ‑FF， 得到当前帧图像中目标酥梨的坐标信息， 将当前帧图像中 目标果实的坐标信息输入目标跟踪模型， 目标跟踪模型通过计算视频帧间的参考位移， 预 测上一帧果实在当前帧中的位置， 通过级联匹配、 IoU匹配机制， 匹配成功的果实继承上一 帧编号， 匹配失败的果 实获得新编号， 直至视频流数据包含的所有帧图像检测完成， 统计已 分配的编号数， 实现单个视角下的果实计数； 重复前述步骤， 直至三个视角视频流数据全部完成计数， 得到目标果实在三个视角的 计数值Y1,Y2,Y3， 与该树垄的真实产量Yreal组成一条样本 。 8.根据权利要求1所述的一种基于机器视觉的果实检测及产量估计方法， 其特征在于，权　利　要　求　书 2/3 页 3 CN 114663814 A 3