(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221090973 0.8 (22)申请日 2022.07.29 (71)申请人 南京农业大 学 地址 210000 江苏省南京市浦口区点将台 路40号 (72)发明人 汪小旵　李为民　施印炎　武尧　 王得志　王延鑫　 (74)专利代理 机构 南京先科专利代理事务所 (普通合伙) 32285 专利代理师 何静 (51)Int.Cl. A01D 45/00(2018.01) G01D 21/02(2006.01) (54)发明名称 一种基于机器视觉的绿芦笋采收机器人及 采收方法 (57)摘要 本发明提供了一种基于机器视觉的绿芦笋 采收机器人及采收方法， 包括行走装置、 末端执 行器、 视觉模块、 导航模块、 供电系统和控制系 统。 控制系统基于导航模块控制行走装置带动采 收机器人整体沿垄沟行走， 根据导航模块以及视 觉模块传递的数据分析识别到 绿芦笋后， 控制机 械臂对末端执行器进行空间位置与空间位姿的 控制； 末端执行器 分为夹持剪切以及位移补偿两 部分， 用于对成熟绿芦笋进行夹持剪切操作以及 切割点二次定位操作。 本发明采用智 能控制， 实 现了绿芦笋的自动检测、 成熟度判别、 定位、 夹持 剪切和收集存放等一体化作业， 还可以实现24小 时作业， 大大提高了采收效率， 促进了绿芦笋产 业的发展。 权利要求书3页 说明书7页 附图6页 CN 115119613 A 2022.09.30 CN 115119613 A 1.一种基于机器视觉的绿芦笋采收机器人， 其特征在于， 包括行走装置， 行走装置上安 装有机械臂 （1） 、 芦笋收集装置 （3） 、 供电系统、 控制箱 （5） ， 机械臂 （1） 末端安装有末端执行 器 （2） ， 机械臂 （1） 上还安装有视觉模块， 控制箱 （5） 外部安装有导航模块； 控制箱 （5） 内安装 有控制系统， 行走装置、 机械臂 （1） 、 末端执行器 （2） 、 视觉模块、 导航模块、 供电系统均与控 制系统信号连接 。 2.根据权利要求1所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述末端执 行器 （2） 通过平 面连接板 （212） 以及平 面内六角螺栓组固定在机械臂 （1） 的第六转动轴法兰 盘上， 包括夹持剪切单 元和位移补偿单 元； 夹持剪切单元包括安装在末端主板 （205） 上的舵机 （218） ， 舵机 （218） 转动轴上通过螺 栓以及啮合齿轮安装有一字舵机臂 （217） ， 一字舵机臂 （217） 两端分别安装有第一传动弧杆 （213） 和第二传动弧杆 （216） ， 第一传动弧杆 （213） 和第二传动弧杆 （216） 的另一端分别固定 有第一夹持手指 （206） 、 第二夹持手指 （209） ， 且第一夹持手指 （206） 以及第二夹持手指 （209） 端部的滑道均与末端主板 （205） 外侧滑轨契合； 第一夹持手指 （206） 以及第二夹持手 指 （209） 相对的一侧分别粘贴有第一夹持海绵 （207） 、 第二夹持海绵 （208） ， 第一夹持手指 （206） 以及第二夹持手指 （209） 的底部分别固定有第一切割刀片 （215） 、 第二切割刀片 （214） 。 3.根据权利要求2所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述位移补 偿单元包括安装在末端主板 （205） 上的第二末端外壳 （211） 内部的超声波传感器 （210） ， 且 超声波发射器与超声 波接收器分别嵌入第二末端外壳 （21 1） 前侧的安装孔中； 位移补偿单元还包括 固定于平面连接板 （2 12） 下方的第一末端外壳 （201） ， 第一末端外 壳 （201） 内安装有丝杆直线模组 （202） 、 丝杆步进电机 （221） ， 且丝杆步进电机 （221） 通过联 轴器与丝杆直线模组 （202） 配合连接； 丝杆直线模组 （202） 上的丝杆滑台 （220） 通过螺栓组 连接有第一L形连接板 （203） ， 第一L形连接板 （203） 另一端伸出至第一末端外壳 （201） 外， 且 通过螺栓组与第二L形连接板 （204） 连接， 第二L形连接板 （204） 通过螺栓组固定于末端主板 （205） 上。 4.根据权利要求2所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述第 二夹 持手指 （209） 与第二夹持海绵 （208） 之间安装有压力薄膜传感器 （222） ， 末端主板 （205） 上的 第二末端外壳 （21 1） 内安装有压力薄膜传感器PCB板 （219） 。 5.根据权利要求1所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述机械臂 （1） 为六轴机械臂， 机械臂 （1） 的第一转动轴上安装有相机固定板， 视觉模块安装在相机固 定板上； 视觉模块包括RGBD相机 。 6.根据权利要求1所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述相机 固 定板上设置有四组不同高度的相机安装孔； 视觉模块还包括安装在相机固定板上的补光灯 （702） 。 7.根据权利要求1所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述控制系 统包括工控机 （501） 、 电源开关 （502） 、 丝杆步进电机驱动器 （503） 、 Ardu ino控制板 （505） 、 底 盘电机驱动器 （507） 、 机械臂控制柜 （508） 、 伺服电机驱动器以及相应的控制电路； 供电系统 包括锂电池 （417） 、 电压转换模块 （5 04） 以及相应的供电 电路。 8.根据权利要求1所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述行走装权　利　要　求　书 1/3 页 2 CN 115119613 A 2置包括履带底盘， 履带底盘包括固定于底盘机架 （408） 上的一组驱动轮、 两组支重轮、 一组 导向轮， 驱动轮、 支重轮、 导向轮均与履带内表 面啮合； 底盘机架 （408） 内部安装有一组伺服 电机和一组电机减速器， 伺服电机的输出轴与对应的电机减速器的输入孔相配合， 电机减 速器通过传动轴与对应的驱动轮连接； 底盘机架 （408） 上方安装有底盘盖板 （402） ， 底盘盖 板 （402） 上安装有 芦笋收集装置 （3） 、 机 械臂 （1） 、 控制箱 （5） 。 9.根据权利要求1所述的基于机器视觉的绿芦笋采收机器人， 其特征在于， 所述芦笋收 集装置 （3） 包括芦笋收集框 （301） 和收集框放置架 （302） ， 收集框放置架 （302） 一端安装在底 盘盖板 （402） 上， 另一端伸出至底盘盖板 （402） 前端且放置有芦笋收集框 （301） ； 所述导航模 块包括激光雷达 （6） 。 10.一种利用权利要求3所述基于机器视觉的绿芦笋采收机器人的绿芦笋采收方法， 其 特征在于， 包括如下步骤： 步骤1： 首先利用导航模块获取绿芦笋种植温室空间信 息并传递至控制系统， 在控制系 统的控制下， 由行走装置带动绿芦笋采收机器人到达垄沟正前方， 控制机械臂 （1） 转动直至 相机固定板与前进方向垂直， 即机械臂 （1） 处于0 °方位； 然后， 视觉模块获取绿芦笋采收机 器人前方图像信息并传递至控制系统进行分析 处理， 控制系统融合导航模块以及视觉模块 传递的数据， 对垄沟两边垄进 行实时识别， 通过PID控制算法控制绿芦笋采收机器人始终行 走在垄沟中间； 步骤2： 行走过程中， 当控制系统根据导航模块以及视觉模块传递的数据分析识别到绿 芦笋后， 控制绿芦笋采收机器人停止运动， 进行一侧绿芦笋的采摘： 控制机械臂 （1） 转动， 直 至视觉模块平行于一侧边垄， 然后基于深度学习实时实例分割算法Yolactedge对绿芦笋进 行识别分割， 对分割后的绿芦笋进行长度测量， 据此判断绿芦笋是否成熟； 针对成熟绿芦 笋， 确定其采收切割点位置， 将切割点坐标转换为世界坐标系下的坐标， 并且对绿芦笋的空 间位姿进行计算； 步骤3： 控制系统计算出成熟绿芦笋在世界坐标系下的坐标以及空间位姿数据后， 控制 机械臂 （1） 带动 末端执行器 （2） 先到达采收过度点位置， 然后以对应的空间姿态到达成熟绿 芦笋切割点处； 接着， 超声波传感器 （210） 测量其与绿芦笋之间的距离并反馈至控制系统进 行计算分析， 距离大于预设的阈值时控制丝杆直线模组 （202） 向着靠近 绿芦笋的方向移动， 否则控制丝杆直线模组 （202） 向着远离绿芦笋的方向移动， 使得绿芦笋始终位于第一夹持 手指 （206） 以及第二夹持手指 （209） 之间， 此时二次定位完成； 步骤4： 控制系统控制舵机 （218） 转动， 舵机 （218） 带动一字舵机臂 （217） 转动， 一字舵机 臂 （217） 带动第一夹持手指 （206） 以及第二夹持手指 （209） 相互靠近， 利用第一切割刀片 （215） 以及第二切割刀片 （214） 切割绿芦 笋； 步骤5： 绿芦笋被切断后， 机械臂 （1） 首先带动末端执行器 （2） 回到采收过度点位置， 然 后继续带动末端 执行器 （2） 运动至芦笋收集装置 （3） 上方， 并将采收完的绿芦笋从竖直姿态 变换为水平姿态， 接着控制舵机 （218） 转动， 使得末端执行器 （2） 松开绿芦笋， 绿芦笋落入芦 笋收集装置 （3） 内， 完成一 根成熟绿芦 笋的采收操作； 步骤6： 机械臂 （1） 继续带动末端执行器 （2） 回到采收过度点位置，