(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581002.9 (22)申请日 2022.05.25 (71)申请人 宁波职业 技术学院 地址 315800 浙江省宁波市宁波经济技 术 开发区庐山 东路388号 (72)发明人 陈文明　梁冬泰　高金峰　郑聪聪　 (74)专利代理 机构 宁波锐和伟专利代理事务所 (普通合伙) 33464 专利代理师 徐祖伟 (51)Int.Cl. B25J 9/16(2006.01) B25J 13/08(2006.01) B25J 18/00(2006.01) B25J 19/02(2006.01) (54)发明名称 一种人机交互协作机器人主动避碰的系统 及方法 (57)摘要 本发明涉及机器人避碰技术领域， 公开了一 种人机交互协作机器人主动避碰的系统， 包括人 机交互协作机器人， 人机交互协作机器人包括机 械臂单元， 人体姿态数据信息获取模块； 机械臂 姿态识别模块； 主动避碰模块； 人体姿态数据信 息获取模块用于获取人体姿态估计数据； 机械臂 姿态识别模块用于建立机械臂关节 点检测模型， 获取机械臂的姿态估计数据； 主动避碰模块， 用 于接收人体姿态估计数据和机械臂的姿态估计 数据， 并当人体姿态数据和机械臂姿态数据在预 设空间邻域范围内， 控制机械臂按照对应的预设 路线自动避让。 采用本系统， 能够获取更加丰富、 鲁棒的机械臂周围场景， 人体姿态和机械臂姿态 估计精度更高， 保障生产作业人机协调安全有 序。 权利要求书3页 说明书8页 附图4页 CN 114800524 A 2022.07.29 CN 114800524 A 1.一种人机交互协作机器人主动避碰的系统， 包括人机交互协作机器人， 其特征在于， 所述人机交互协作机器人包括机械臂单元， 所述机械臂单元包括至少一个机械臂； 还包括 人体姿态数据信息获取模块、 机 械臂姿态 识别模块； 主动避碰模块； 所述人体姿态数据信息获取模块， 用于获取 人体姿态估计数据； 所述机械臂姿态识别模块， 用于建立机械臂关节点检测模型， 按照预设回归算法， 获取 机械臂的姿态估计数据； 所述主动避碰模块， 用于接收人体姿态数据信 息获取模块的人体姿态估计数据和机械 臂姿态识别模块的机械臂的姿态估计数据， 并当人体姿态数据和机械臂姿态数据在预设空 间邻域范围内， 控制机 械臂按照对应的预设路线 避让。 2.根据权利要求1所述的一种人机交互协作机器人主动避碰的系统， 其特征在于， 所述 人体姿态数据信息获取模块包括多台深度传感器摄像机、 数据融合处理单元， 数据提取单 元， 第一回归拟合单 元； 所述多台深度传感器摄像机， 分别设置在预设位置， 每个位置对应的方位不同， 用于获 取人体不同方位的深度传感数据、 点云数据以及图像数据； 所述数据融合处理单元， 用于通过预设融合算法， 将获取的不同方位的深度传感数据 融合获取对应的人体深度传感数据； 所述数据提取单元， 用于通过预设提取算法， 提取获取的人体深度传感数据中人体骨 骼三维关节点数据； 所述第一回归拟合单元， 用于通过预设融合算法， 融合并匹配获取的人体深度传感数 据和提取 的人体骨骼三维关节点数据， 通过预设回归拟合算法， 获取对应的人体姿态估计 数据。 3.根据权利要求2所述的一种人机交互协作机器人主动避碰的系统， 其特征在于， 所述 数据融合处 理单元包括人体深度数据标定单 元、 第一融合单 元； 所述人体深度数据标定单元， 用于通过预设标定算法， 将获取的不同方位的深度传感 数据标定 到预设标定深度传感设备的坐标系中， 并获取 标定后的深度传感数据； 所述第一融合单元， 用于通过分布式卡尔曼一致性滤波处理算法对标定后的深度传感 数据融合处理， 并通过预设点云数据 处理算法库对融合后的深度传感数据进行拟合， 获取 对应的人体深度传感数据。 4.根据权利要求3所述的一种人机交互协作机器人主动避碰的系统， 其特征在于， 所述 第一回归拟合单元包括人体骨骼 三维关节点数据标定单元、 回归拟合单元以及第二融合单 元； 所述人体骨骼三维关节点数据标定单元， 用于通过预设标定算法， 将获取的人体骨骼 三维关节点数据标定到预设标定深度传感设备的坐标系中， 并获取标定后的人体骨骼三 维 关节点数据； 所述回归拟合单元， 用于通过分布式卡尔曼一致性滤波处理算法对标定后的人体骨骼 三维关节点数据进行回归拟合， 获取一 致性人体骨骼三维关节点数据； 所述第二融合单元， 用于将人体深度传感数据和一致性人体骨骼三维关节点数据通过 预设多元 数据融合 算法融合匹配， 获取 人体姿态估计数据。 5.根据权利要求2所述的一种人机交互协作机器人主动避碰的系统， 其特征在于， 机械权　利　要　求　书 1/3 页 2 CN 114800524 A 2臂姿态识别模块包括样本数据库建立单 元、 模型搭建单元、 实时估计姿态单 元； 所述样本数据库建立单元， 包括彩色图像坐标建立单元、 深度图像坐标建立单元以及 点云数据坐标建立单元， 用于通过彩色图像坐标建立单元获取彩色图像内对应的机械臂关 节点坐标， 通过深度图像坐标建立单元获取深度图像内对应的关节点坐标， 通过点云数据 坐标建立单 元获取点云数据内对应的关节点 坐标； 模型搭建单元， 用于将样本数据库建立单元中获取的彩色图像 内对应的机械臂关节点 坐标、 深度图像内对应的关节点坐标以及点云数据内对应的关节点坐标作为输入数据， 通 过预设级联沙漏卷积神经网络提取特征， 并将提取的特征通过热图网络回归机械臂对应关 节点的概 率， 根据回归机 械臂对应关节点的概 率建立机 械臂关节点检测模型； 实时估计姿态单元， 用于对机械臂关节点的每一个像素位置进行预测， 获取机械臂 的 姿态估计数据。 6.根据权利要求5所述的一种人机交互协作机器人主动避碰的系统， 其特征在于， 所述 样本数据库建立单 元还包括图像数据收集单 元、 样本标注单 元； 图像数据收集单元， 用于收集预设角度以及预设光照下机械臂不同姿态的图像数据以 及收集多个所述深度深度传感器 摄像机采集机 械臂对应的深度传感数据和点云数据； 所述样本标注单元， 用于通过预设样本标注工具对机械臂 的预设关节点进行标注， 并 获取对应的标注数据。 7.根据权利要求5所述的一种人机交互协作机器人主动避碰的系统， 其特征在于， 所述 模型搭建单元还包括效率提高单元， 所述效率提高单元， 用于对机械臂关节点检测模型进 行轻量化裁剪。 8.一种基于权利要求1至7任一项所述的一种人机交互协作机器人主动避碰的系统的 方法， 其特 征在于， 包括 步骤： S1： 通过人体姿态数据信息获取模块获取 人体姿态估计数据； S2： 通过机械臂姿态识别 模块建立机械臂关节点检测模型， 按照预设回归算法， 获取机 械臂的姿态估计数据； S3： 通过主动避碰模块接收人体姿态数据信 息获取模块的人体姿态估计数据和机械臂 姿态识别模块的机械臂的姿态估计数据， 并当人体姿态数据和机械臂姿态数据在预设空间 领域范围内， 控制机 械臂按照对应的预设路线 避让。 9.根据权利要求8所述的方法， 其特 征在于， 步骤S1包括 步骤： S11： 通过分别设置在预设位置的多台深度传感器摄像机， 获取人体不同方位的深度传 感数据、 点云数据以及图像数据； S12： 通过数据融合处理单元采用预设融合算法， 将 获取的不同方位的深度传感数据融 合获取对应的人体深度传感数据； S13： 通过数据提取单元采用预设提取算法， 提取获取的人体深度传感数据中人体骨骼 三维关节点数据； S14： 通过第 一回归拟合单元采用预设融合算法， 融合并匹配获取的人体深度传感数据 和提取的人体骨骼三维关节点数据， 通过预设回归拟合算法， 获取对应的人体姿态估计数 据。 10.根据权利要求8所述的方法， 其特 征在于， 步骤S2包括：权　利　要　求　书 2/3 页 3 CN 114800524 A 3