(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211281303.6 (22)申请日 2022.10.19 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 胡金鹏　徐立章　赵红阳　刘朋　 行帅峰　戴步旺　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 冯燕平 (51)Int.Cl. G01B 11/28(2006.01) G01B 11/02(2006.01) G05B 19/04(2006.01) G06T 7/55(2017.01)G06T 7/62(2017.01) G06T 7/90(2017.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 20/70(2022.01) A01D 45/04(2006.01) (54)发明名称 一种水稻倒伏区域检测及作业调控系统和 方法及收获机 (57)摘要 本发明提供了一种水稻倒伏区域检测及作 业调控系统和方法及收获机， 利用图像采集设备 获取水稻收获过程中的实时图像， 结合语义分割 网络模型， 提取水稻倒伏区域， 计算倒伏区域面 积和倒伏高度， 根据建立的倒伏 程度与割台作业 参数之间的控制规则， 实现倒伏水稻的精准收 获。 还提供了一种水稻倒伏区域检测及作业调控 系统的控制方法， 采用语义分割网络和深度学 习， 根据不同的水稻倒伏程度， 匹配控制规则， 改 变收割机前进速度、 割 台高度、 拨禾轮高度和拨 禾轮转速， 实现各作业参数的精准控制。 本发明 还提供了一种收获机， 采用水稻倒伏区域检测及 作业调控系统的控制方法控制水稻倒伏区域检 测及作业调控系统， 实现倒伏水稻的精准收获。 权利要求书2页 说明书8页 附图3页 CN 115540784 A 2022.12.30 CN 115540784 A 1.一种水稻倒伏区域检测及作业调控系统， 其特征在于， 包括图像采集设备(1)、 图像 处理系统(2)、 控制单 元(3)、 割台(5)和拨禾轮(6)； 所述图像采集设备(1)用于采集当前待收割区域内倒伏水稻图像， 图像采集设备(1)与 图像处理系统(2)连接， 并将倒伏水稻图像传递给图像处 理系统(2)； 所述图像处理系统(2)用于处理图像采集设备(1)采集的倒伏水稻图像， 提取水稻倒伏 区域， 计算得到倒伏水稻面积和高度信息， 判断倒伏程度， 生成收割机前进速度和割台作业 参数控制指 令， 并传递给控制单元(3)； 所述控制单元(3)分别与图像处理系统(2)、 割台(5) 和拨禾轮(6)连接， 控制单元(3)根据收割机前进速度和割台作业参数控制指令， 控制收割 机前进速度和割台作业 参数。 2.根据权利要求1所述的水稻倒伏区域检测及作业调控系统， 其特征在于， 所述图像处 理系统(2)的收割机前进速度和割台作业参数控制指 令是根据水稻倒伏程度匹配收割机前 进速度、 割台高度、 拨禾轮高度和转速自动控制规则生 成的,控制收割机前进速度、 割台(5) 的高度、 拨禾轮(6)的高度和转速 。 3.根据权利要求1所述的水稻倒伏区域检测及作业调控系统， 其特征在于， 所述图像采 集设备(1)为双目相机； 所述图像处 理系统(2)为嵌入式开发板或工控机 。 4.根据权利要求1所述的水稻倒伏区域检测及作业调控系统， 其特征在于， 所述控制单 元(3)包括割台参数控制模块和收割机前进速度控制模块； 割台参数控制模块用于控制割 台(5)的高度、 拨禾轮(6)的高度和转速， 收割机前进速度控制 模块用于控制收割机前进速 度。 5.一种根据权利要求1 ‑4任意一项所述的水稻倒伏区域检测及作业调控系统的控制方 法， 其特征在于， 包括以下步骤： 步骤S1、 图像采集： 通过图像采集设备(1)采集当前待收割区域内水稻倒伏图像， 获得 彩色图像和深度图像， 并传递给图像处 理系统(2)； 步骤S2、 图像处理： 通过图像处理系统(2)处理步骤S1获得的水稻倒伏图像， 提取水稻 倒伏区域， 计算倒伏水稻面积和高度， 得到倒伏水稻面积和高度信息， 图像处理系统(2)根 据倒伏水稻面积和高度信息判断当前待收割区域内水稻倒伏程度； 生成收割机前进速度和 割台作业 参数控制指令， 并传递给控制单 元(3)； 步骤S3、 作业参数调控： 控制单元(3)根据收割机前进速度和割台作业参数控制指令， 控制收割机前进速度和割台作业 参数。 6.根据权利要求5所述的水稻倒伏区域检测及作业调控系统 的控制方法， 其特征在于， 所述图像采集设备(1)为双目相机， 双目相机获得的彩色图像作为图像处理系统(2)语义分 割网络模型的输入， 提取 水稻倒伏区域， 深度图像用来计算倒伏水稻高度。 7.根据权利要求5所述的水稻倒伏区域检测及作业调控系统 的控制方法， 其特征在于， 所述步骤S2中水稻倒伏区域 提取包括以下步骤： 根据图像采集设备(1)传递的具有水稻倒伏特征的RGB图像， 以拨禾轮横向边缘为边 界， 截取图像作为语义分割网络模型的图片 输入， 建立水稻倒伏图像训练集、 验证集和测试 集， 对训练集和验证集按照割台、 倒伏水稻、 未倒伏水稻以及已收获区域进行标注； 将标注 后的训练集、 验证集及未标注的测试集均进行数据扩充； 将扩充后的训练集输入语义分割权　利　要　求　书 1/2 页 2 CN 115540784 A 2网络模型中进行训练， 之后将扩充后的验证集输入训练后的语义分割网络模型中进行验 证， 优化模型参数； 最 终将测试集输入优化后的语义分割网络模型， 完成水稻倒伏图像的分 割。 8.根据权利要求5所述的水稻倒伏区域检测及作业调控系统 的控制方法， 其特征在于， 所述步骤S2中水稻倒伏面积和高度计算包括以下步骤： 完成水稻倒伏图像的分割后， 对图像内倒伏和未倒伏区域的像素面积分别求和， 并计 算倒伏区域所占比例， 输出为倒伏面积占比λ； 由所述双目相 机采集的左、 右图像进行像素 点匹配， 根据匹配结果计算每个像素的深度， 从而获得深度图像； 将经过语义分割后的水稻 倒伏区域映射到对应的深度图上， 针对水稻倒伏 区域的深度图像， 先进行图像像素坐标系 到图像物理坐标系的转换， 再进行图像物理坐标系到相 机坐标系的转换， 最后进行相 机坐 标系到世界坐标系的转换， 得到高度图， 统计水稻倒伏区域内每一个像素点对应的高度值， 并计算平均高度， 输出为倒伏高度h 。 9.根据权利要求5所述的水稻倒伏区域检测及作业调控系统 的控制方法， 其特征在于， 所述步骤S 3中所述图像处理系统(2)的收割机前进速度和割台作业参数控制指 令是根据水 稻倒伏程度匹配收割机前进速度、 割台高度、 拨禾轮高度和转速自动控制规则生成的， 控制 收割机前进速度、 割台(5)的高度、 拨禾轮(6)的高度和转速； 所述控制规则具体为： 设置参数自动调整的倒伏面积占比大小阈值为a， 图像处理系统(2)根据倒伏面积占比 数值λ， 判断是否调整 前进速度和割台参数， 若 λ≦a， 倒伏 面积占比过小， 仍然按照正常作业 参数进行收获； 若 λ＞a， 发出收割机前进速度控制指 令， 且此时倒伏面积占比达到割台调整 要求， 进一 步执行割台参数自动调整命令； 在已有水稻倒伏区域信息的基础之上， 图像处理系统(2)结合倒伏高度h， 将倒伏程度 划分为三个等级： 0≦h＜c为严重、 c≦h＜d为中等、 d≦h＜e为轻微， 其中， c、 d、 e代表不同的 高度值， 且c＜d＜e； 三种倒伏等级分别对应不同的前进速度V、 割台高度L、 拨禾轮高度H和 拨禾轮转速R； 当倒伏程度为轻微时， 前进速度V、 割台高度L、 拨禾轮高度H和拨禾轮转速R保持与 正常 直立作物收获参数相同不做调整， 分别为V1、 L1、 H1、 R1； 当倒伏程度为中等时， 前进速度V下 调至V2， 割台高度L、 拨禾轮高度H和拨禾轮转速R分别调整至L2、 H2、 R2； 倒伏程度为严重时， 前进速度V下调至V3， 割台高度L、 拨禾轮高度H和拨禾轮转速R分别调整至L3、 H3、 R3； 其中， V ＞V1＞V2＞V3＞0， L＞L1＞L2＞L3＞0， H＞H1＞H2＞H3≥0， R＞R1＞R2＞R3＞0。 10.一种收获机， 其特征在于， 包括权利要求1 ‑4任意一项所述水稻倒伏区域检测及作 业调控系统， 所述水稻倒伏 区域在线检测及作业参数调控系统根据权利要求5 ‑9任意一项 水稻倒伏区域检测及作业调控系统的控制方法控制。权　利　要　求　书 2/2 页 3 CN 115540784 A 3