(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210732956.5 (22)申请日 2022.06.27 (65)同一申请的已公布的文献号 申请公布号 CN 114782455 A (43)申请公布日 2022.07.22 (73)专利权人 中国科学院合肥物质科 学研究院 地址 230031 安徽省合肥市蜀山区蜀山湖 路350号 (72)发明人 孙友强　胡悦　黄河　盛佳佳　 张玮　裴昊天　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/66(2017.01) 审查员 彭玉玲 (54)发明名称 一种用于农机嵌入式设备的棉花行中心线 图像提取方法 (57)摘要 本发明涉及一种用于农机嵌入式设备的棉 花行中心线图像提取方法， 与现有技术相比解决 了复杂图像环境下的棉花行中心线提取鲁棒性 差、 计算时间长、 难以满足农机自动导航的实时 性要求的缺陷。 本发明包括以下步骤： 棉 田图像 数据的采集与预处理； 构建轻量级棉花行检测模 型； 轻量级棉花行检测模型的训练； 待提取中心 线的棉田图像的获取与预处理； 棉花行中心线图 像提取结果的获得。 本发明实现了复杂农田环境 下的棉花行中心线准确提取， 通过构建轻量级 YOLOv4模型， 在保持较高检测精度的同时显著提 升了检测速度， 适合部署在计算能力有限的农机 嵌入式设备 上。 权利要求书4页 说明书10页 附图5页 CN 114782455 B 2022.09.09 CN 114782455 B 1.一种用于农机嵌入式设备的棉花行中心线图像提取方法， 其特征在于， 包括以下步 骤： 11） 棉田图像数据的采集与预处理： 采集覆膜回收时期的棉田图像， 根据透视投影原理 建立图像的感兴趣区域ROI， 并使用标注工具对ROI内的棉花行进行分段标注， 形成预处理 后的棉田图像数据； 12） 构建轻量级棉花行检测模型： 利用MobileNetV3网络对YOLOv4模型进行轻量化改 进， 引入跨阶段局部连接， 构建出基于改进后YOLOv4模型的轻量级棉花行检测模型； 所述构建轻量级棉花行检测模型包括以下步骤： 121） 引入轻量级网络MobileNetV3： 对YOLOv4模型的特征提取网络进行改进， 引入轻量 级网络MobileNetV3重构YOLOv4模型的特 征提取网络； 所述引入轻量级网络 MobileNetV3包括以下步骤： 1211） 设定YOLOv4模型的特征提取网络为17层， 去掉MobileNetV3的softmax、 池化层和 全连接层， 将前14层作为YOLOv4模型的主干网络， 重新构建第15层、 16层和17层； 1212） 设定输入大小为416 ×416的图像， 经过前四层3 ×3卷积运算， 在第4层输出的特 征图维度为52 ×52×24； 1213） 设定在第5层除了提取 特征外， 还与PAN模块进行融合， 具体操作分为两 部分： 一部分经过通道扩张到52 ×52×72， 然后进行逐点卷积得到52 ×52×256的特征向量， 将其传入PAN模块进行处理； 另一部分经过含SE模块的倒残差结构得到26 ×26×40的特征 向量， 传入第6层； 1214） 设定第 6层与第7层均 为含有倒残差的卷积层， 经过步长为1的卷积操作， 在第7层 输出26×26×40的特征向量到第 8层； 第8层与第5层相同， 一个 分支通过逐点卷积得到特征 向量为26 ×26×512， 传入PAN模块进行处理， 另一个分支经过倒残差结构得到13 ×13×80 的特征向量， 传入第9层； 1215） 设定第9层、 第10层、 第11层、 第12层、 第13层与第7层相同， 为含有倒残差结构的 卷积操作， 设定在第13层输出26 ×26×112的特征向量； 1216） 设定在第14层步长调整为1， 输出13 ×13×112的特征向量给第15层； 第15层与第 16层利用1 ×1卷积核进行通道扩张， 输出尺寸为13 ×13×160的特征向量； 在第17层经过1 ×1的逐点卷积得到13 ×13×1024的特 征向量； 122） 引入跨阶段局部连接的PAN模块： 对YOLOv4模型的PAN模块中的原始卷积模块进行 改进， 引入跨阶段局部连接将PAN模块中的标准卷积替换为改进后的卷积模块CS P_Conv； 所述引入跨阶段局部连接的PAN模块包括以下步骤： 1221） 设定将特征提取网络第5层输出的52 ×52×256特征向量与第8层输出的26 ×26 ×51特征向量作为PAN模块的输入， 每 个输入的特 征向量被划分成两个部分； 1222） 设定第一部分使用一个1 ×1卷积核进行卷积操作； 1223） 设定第二部分使用两个1 ×1卷积核与两个3 ×3的卷积核 进行卷积操作； 1224） 设定融合第一部分与第二部分的多尺度特 征信息以提高检测的精度； 1225） 设定在YOLOv4模型的PAN模块的  5 个卷积处加入了CSP跨阶段局部结构， 即使用 改进后的CS P_Conv模块替换原始标准卷积； 123） 将改进特 征提取网络和PAN模块的YOLOv4模型作为轻量级棉花行检测模型；权　利　要　求　书 1/4 页 2 CN 114782455 B 213） 轻量级棉花行检测模型的训练： 将预处理后的棉田图像数据输入轻量级棉花行检 测模型， 使用K ‑means++聚类算法优化先验框参数， 训练轻量级棉花行检测模型； 14） 待提取中心线的棉田图像的获取与预处理： 获取提取中心线的棉田图像， 并进行预 处理； 15） 棉花行中心线图像提取结果的获得： 将预处理后的棉田图像输入训练后的轻量级 棉花行检测模型， 得到棉花行特征点， 再对棉花行特征点进 行中心线拟合处理， 提取出棉花 行中心线。 2.根据权利要求1所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法， 其 特征在于， 所述轻量级棉花行检测模型的训练包括以下步骤： 21） 将预处 理后的棉田图像数据输入轻量级棉花行检测模型； 22） 棉花行的K个初始候选框 的获得： 利用K ‑means++聚类算法对人工标注的目标框进 行维度聚类， 得到适 合棉花行的K个初始候选 框； 23） 将训练样本输入模型， 使用反向传播算法对模型中的参数进行充分训练， 输出得到 棉花行检测框 。 3.根据权利要求1所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法， 其 特征在于， 所述棉花行中心线图像提取 结果的获得包括以下步骤： 31） 对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类， 将属于同一棉 花行的检测框归为 一类， 得到同列检测框； 32） 基于检测框区域进行特征点提取： 选择检测到的正确角点数量最多的SUSAN角点作 为棉花行 特征点； 33） 直线拟合操作： 利用改进的RANSAC算法对提取到的特征点进行直线拟合， 得到棉花 行中心线图像提取 结果。 4.根据权利要求2所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法， 其 特征在于， 所述棉花行的K个初始候选 框的获得包括以下步骤： 41） 随机选取一个样本点作为初始聚类中心 ； 42） 计算每个样本点与当前聚类中心 的最短距离 ， 然后 计算每个样本成为下个聚类中心的概率 ， 最后用轮盘法选出下一个聚类中 心； 43） 重复步骤42） ， 直到 选出K个聚类中心； 44） 遍历数据集中每个样本点， 计算其到每个当前聚类中心 距 离， 将每个样本点分到距离最近的聚类中心所属类别； 45） 计算每 个类别中所有样本特 征的均值， 并将该均值作为每 个类新的聚类中心； 46） 重复步骤44） 和45） ， 直到聚类中心不再改变或达到最大迭代次数， 最终的聚类中心 即为先验框 。 5.根据权利要求3所述的一种用于农机嵌入式设备的棉花行中心线图像提取方法， 其 特征在于， 所述对于轻量级棉花行检测模型输出的棉花行检测框进行自适应聚类包括以下权　利　要　求　书 2/4 页 3 CN 114782455 B 3