(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210393815.5 (22)申请日 2022.04.15 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 杨丹彤　戴久翔　岳学军　郑丁科　 郭家文　高欣欣　黄燕娟　黄世醒　 陈惠明　张畅冉　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 20/10(2022.01) G06T 7/62(2017.01) G06T 7/73(2017.01)G06T 7/64(2017.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种便携式甘蔗田间测产系统 (57)摘要 本发明公开了一种便携式甘蔗田间测产系 统， 包括： 边缘计算设备、 便携式显示屏、 双目摄 像头、 第一便携供电电源、 第二便携供电电源、 蓝 牙操控键盘、 图像输入模块、 图像处理模块和图 像识别模块； 双目摄像头、 第一便携供电电源、 便 携显示屏、 蓝牙操控键盘均与边缘计算设备连 接， 第二便携供电电源与便携显示屏相连接； 图 像输入模块采集甘蔗的 图像和视频， 图像处理模 块对图像和视频进行分析处理， 图像识别模块负 责对图像处理模块处理后的图像和视频进行多 尺度测量， 实现甘蔗产量测量。 本发明可取代传 统的人工产量测量方式， 改善农工田间实时产量 测量情况， 提高工作效率和可靠性。 权利要求书2页 说明书8页 附图1页 CN 114743104 A 2022.07.12 CN 114743104 A 1.一种便携式甘蔗田间测产系统， 其特 征在于， 包括： 硬件部分， 包括边缘计算设备、 便携式显示屏、 双目摄像头、 第 一便携供电电源、 第二便 携供电电源和蓝牙操控键盘； 其中， 所述双目摄像头、 第一便携供电电源、 便携式显示屏、 蓝 牙操控键盘均通过特定数据线和接口与边缘计算设备相连接， 所述第二便携供电电源与便 携式显示屏相连接， 提供电量支持； 软件部分， 加载于边缘计算设备， 包括图像输入模块、 图像处理模块和图像识别模块； 其中， 所述图像输入模块通过双目摄像头采集甘蔗的图像和视频， 所述图像处理模块负责 对图像输入模块输入的图像和视频进 行分析处理， 所述图像识别模块负责对图像处理模块 处理后的图像和 视频进行多尺度测量， 基于 改进后的YOLOv5神经网络模型处理， 对甘蔗茎 节和分叉点进行识别， 进而实现甘蔗产量测量， 其中茎节是指甘蔗植株表面凸起的节点部 分， 分叉点是指甘蔗植株和甘蔗叶子的交点部分； 其中， 对YOLOv5神 经网络模型进行改进， 包括： ①训练时使用SGD优化， 添加warm  up策 略， 并在模型训练初始时使用小的学习率， 再逐步提高学习率以提高学习速度； ②使用k‑ means聚类均值算法获取适合甘蔗茎节和分叉点特征尺寸的先验框； ③添加CBAM注意力模 块和VarifocalNet模块， 用于提高在田间遮挡严重的情况下对甘蔗茎节和分叉点的实时检 测准确率。 2.根据权利要求1所述的一种便携式甘蔗田间测产系 统， 其特征在于， 使用k ‑means聚 类均值算法获取适 合甘蔗茎节和分叉点特 征尺寸的先验框， 具体情况如下： k‑means聚类均 值算法先从所有数据样本中选取K个聚类， 聚类是指将数据集 中的样本 划分为若干个不相交的子集， 每个子集称为一个 “簇”， 聚类中数据的均值表 示中心， 即用每 一个聚类的中心对该簇进 行描述， 不断回归得到各聚类值； 在不断的计算过程中， 将所有样 本划分到距离最小的中心所在的聚类中； 其中， 为了使得各聚类平方和达到最小值， 在选取 样本的过程中要保持中心不变， 根据Labelimg工具标注图像中甘蔗茎节特征后生成的txt 文件， 其中包含标注甘蔗茎节特征在原图像当中的位置信息和标注框左 上角坐标(x， y)以 及标注框的宽w、 高h； 运用k ‑means聚类均值算法聚类k个先验框的高度和宽度， 计算先验框 与每个边界框boundinig  box的交并比IOU， 评估后选出最大值； 不断计算， 直至获取得到最 适合甘蔗茎节特 征的先验框尺寸； 添加CBAM注意力模块， 具体情况如下： CBAM注意力模块是由通道注意力模块和空间注意力模块组成， 对于输入的特征层， 依 次经过通道注意力模块和空间注意力模块， 将新得到的注意力图与输入特征层进 行自适应 特征优化； 通道注 意力模块和空间注 意力模块的依次结合， 简化了模 型结构， 降低了计算压 力； 通道注意力模块执行以下操作： 对输入的单个特征层， 分别进行全局平均池化和全局 最大池化， 之后将池化后的结果利用共享的全连接层进行处理， 对处理后的两个结果进行 相加， 取结果的均值， 获得输入 特征层每一个通道的权值， 权值为0 ‑1之间， 再将权值乘上原 输入特征层即可获得通道 注意力值； 空间注意力模块执行以下操作： 对输入进来的特征层， 在每一个特征点的通道上取最 大值和平均值， 之后将这两个结果进行一个堆叠， 利用一次通道数为1的卷积调整通道数， 取结果的均值， 得到输入特征层每一个特征点的权值， 权值为0 ‑1之间， 再将权值乘上原输权　利　要　求　书 1/2 页 2 CN 114743104 A 2入特征层即可获得空间注意力值； 添加Varifocal Net模块， 具体情况如下： IOU感知的分类得分IACS， 是用来表示物体存在置信度和定位精度的一项指标， 对于密 集物体的检测有更精准的排序； Varifocal损失函数使用训练后的密集特征检测器来预测 IACS， 结合星形边界框特征表示来估算IACS和改进粗略边界框， 并以FCOS+ATSS为基本网 络， 移除掉Centernes s分支， 组成Varifocal Net模块。 3.根据权利要求1所述的一种便携式甘蔗田间测产系统， 其特征在于： 所述图像处理模 块选用了Python网络爬虫爬取的多张图片， 对已有的甘蔗图像进行数据增强， 其中包括调 整亮度、 对比度、 色彩饱和加噪， 并进 行不同程度的裁剪处理， 构建图像数据集， 然后再使用 LambleImg图像标注工具对图像数据集中的图像的甘蔗茎节和分叉点目标进行标注， 并将 图像数据集按比例分为训练集、 验证集和测试集； 其中， 将上述训练集输入改进后的Y OLOv5 神经网络模型进行训练， 能够得到甘蔗茎节和分叉点检测所需权 重文件。 4.根据权利要求1所述的一种便携式甘蔗田间测产系统， 其特征在于： 所述图像识别模 块的所有工作 均在边缘计算设备完成， 具体情况如下： 当双目摄像头采集到甘蔗图像后， 将图像传递给图像识别模块， 对图像进行resize操 作， 对图片整体成比例 进行resize， 使得图像的长边为416， 如果图像的长边和短边长度相 同， 则图像大小为416*416， 如果短边不为416， 则对短边部分进行零填充， 使得短边长度也 为416， 确保输入图像大小都固定尺寸为416*416， 然后 再将resize后的图像输入到改进后 的YOLOv5神经网络模型中进行检测： 将特征信息通过上采样的方式进行传递融合成特征 图， 得到特征图后进行识别， 使用CSPdarknet作为主要的特征提取网络， 并使用LeakyReLU 和Sigmoid激活函数， 再根据Mosaic数据增强和Focus模块获得更有效、 更深层的特征信息， 以增强模型的拟合性及提升检测效果和检测速度， 进而提高了田间实时对甘蔗茎节和分叉 点的识别准确率。 5.根据权利要求1所述的一种便携式甘蔗田间测产系统， 其特征在于， 所述边缘计算设 备为测产系统的控制核心， 提供了测产系统工作的操作系统以及改进后的YOLOv5神经网络 模型的运行环境、 运算平台和计算力支持， 并实现转换数据 的输入输出； 在边缘计算设备 内， 改进后的YOLOv5神经网络模型对双目摄像头采集的图像和 视频进行处理， 识别 出甘蔗 茎节和分叉点的位置， 计算出甘蔗植株的高度和直径， 再计算出体积， 最后乘以甘蔗的容 重， 从而得到甘蔗单个植株的重量。 6.如权利要求1所述的一种便携式甘蔗田间测产系统， 其特征在于， 所述边缘计算设备 环境配置为Ubuntu18.04， 使用双核NVIDIA  Denver 2 64位CPU与四核 ‑ A57 MPCore复合处 理器， 内存8GB， 配置Pascal架构GPU。 7.如权利要求1所述的一种便携式甘蔗田间测产系统， 其特征在于， 所述第 一便携供电 电源为840 0mAh 21V电源。 8.如权利要求1所述的一种便携式甘蔗田间测产系统， 其特征在于， 所述第 二便携供电 电源为90 00mAh 5V电源。权　利　要　求　书 2/2 页 3 CN 114743104 A 3