(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210877990.1 (22)申请日 2022.07.25 (71)申请人 河南爬客智能机 器人有限公司 地址 450018 河南省郑州市河南自贸试验 区郑州片区(郑东)三全路与龙源四街 交叉口中原科技城创新孵化基地C座2 层002室 (72)发明人 袁野　万里红　吴国栋　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 吴松滨 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/40(2022.01) G06N 5/04(2006.01) G05B 19/408(2006.01) (54)发明名称 一种基于kapao网络的人体姿态识别与模拟 系统 (57)摘要 本发明公开了一种基于kapao网络的人体姿 态识别与模拟系统。 该系统根据以下步骤进行识 别和模拟： 控制模块通过指令控制所述视觉模块 获取人体姿态 图像并将所述人体姿态 图像传输 至所述推理模块； 所述推理模块通过基于kapao 网络的人体姿态识别模型对所述人体姿态 图像 进行识别， 输出人体姿态识别结果； 所述控制模 块根据所述人体姿态识别结果发送驱动指令至 所述驱动模块， 所述驱动模块根据所述驱动指令 驱动对应舵机进行旋转。 本发明技术方案实现了 对人体姿态的快速识别和模拟。 权利要求书1页 说明书5页 附图2页 CN 115311739 A 2022.11.08 CN 115311739 A 1.一种基于kapao网络的人体姿态识别与模拟系统， 其特征在于， 包括视觉模块、 控制 模块、 推理模块和驱动模块； 所述视觉模块用于获取 人体姿态图像； 所述控制模块用于通过控制其 他模块进行对系统任务进行调度； 所述推理模块用于通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行 识别； 所述驱动模块用于驱动舵机 旋转， 所述舵机用于控制机器人手部关节； 并根据以下步骤进行 人体姿态 识别和模拟： 所述控制模块通过指令控制所述视觉模块获取人体姿态图像并将所述人体姿态图像 传输至所述推理模块； 所述推理模块通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行识 别， 输出人体姿态 识别结果； 所述控制模块根据所述人体姿态识别结果发送驱动指令至所述驱动模块， 所述驱动模 块根据所述驱动指令驱动对应舵机进行旋转。 2.根据权利要求1所述的基于kapao网络的人体姿态识别与模拟系统， 其特征在于， 所 述舵机包括第一舵机、 第二舵机和第三舵机， 所述第一舵机用于控制所述机器人的肩关节， 所述第二舵机用于控制所述机器人的肘关节， 所述第三舵机用于 机器人的腕关节。 3.根据权利要求2所述的基于kapao网络的人体姿态识别与模拟系统， 其特征在于， 所 述第一舵机和第二舵机的数量均为4个， 所述第三舵机的数量为2个； 其中， 采用2个所述第 一舵机、 2个所述第二舵机和1个所述第三舵机控制所述机器人的一侧手臂。 4.根据权利要求3所述的基于kapao网络的人体姿态识别与模拟系统， 其特征在于， 根 据以下步骤 对所述基于kapao网络的人体姿态 识别模型进行训练： 步骤S1： 初始化所述人体姿态识别 模型的网络权重参数、 偏置项、 分类器网络和多尺度 特征提取网络； 步骤S2： 将用于训练的人体姿态图像输入至所述分类器网络， 再向前传递至所述多尺 度特征提取网络进行 下采样与多尺度融合处 理后输入至所述人体姿态 识别模型的预测头； 步骤S3： 所述预测头对输入的特征图进行通道与空间计算， 得到预测框的位置和对应 的置信率； 步骤S4： 通过偏移量模块对所述特征图进行偏移量计算， 再对所述特征图进行对齐矫 正操作； 步骤S5： 针对步骤S3的通道与空间计算结果和步骤S4的偏移量计算结果进行后处理， 所述后处理具体为采用NMS非极大值抑制方法选取置信率最大的预测框的识别结果作为人 体姿态识别结果； 步骤S6： 所述预测头和偏移量模块反向传递loss值， 再通过梯度下降算法计算所述网 络权重参数和偏置项并得到相应的加权损失值， 根据所述加权损失值更新所述人体姿态识 别模型的网络 权重参数； 重复步骤S2 ～S6至所述人体姿态 识别模型收敛。 5.根据权利要求4所述的基于kapao网络的人体姿态识别与模拟系统， 其特征在于， 对 训练好的所述基于kapao网络的人体姿态识别模型进行剪枝处理后， 再通过TensorRT对所 述基于kapao网络的人体姿态 识别模型进行推理加速处 理。权　利　要　求　书 1/1 页 2 CN 115311739 A 2一种基于kapao网 络的人体姿态识别与模拟 系统 技术领域 [0001]本发明涉及人体姿态识别技术领域， 尤其涉及一种基于kapao网络的人体姿态识 别与模拟系统。 背景技术 [0002]随着人口老龄化趋势的加剧和工业机器人技术的日趋成熟与完善， 机器人开始逐 步走入医疗、 保健、 家庭、 体育和服务性行业， 对机器人 的要求也从简单重复的机械动作提 升为研制具有高度智能型、 自主性以及与其他智能体交互的仿人机器人。 人体姿态模仿机 器人就是典型 的仿人机器人， 它 具有和人类相似的头部和身体特征， 可以模仿人类的肢体 动作， 为人和机器人的深入研究提供了一个平台。 鉴于此， 本案的人体姿态识别系统由此产 生。 [0003]不同于传统的机器人， 人们希望现代智能机器人能够进行肢体交流， 能理解人们 手臂动作想要表达的肢体语言， 使机器人更加智能化， 也就是能更像人或者某些方面超过 人类。 现如今机器人朝着更加智能化的方向发展， 让机器人 的言行举止能达到或者超过人 类的水平， 利用运动控制 达到更加多样的人机交互场景。 例如本发明机器人能识别人 的肢 体语言后模仿人类做出相应的肢体动作。 人体姿态识别的应用范围十分广泛,可用于人机 交互、 影视制作、 运动分析、 游戏娱乐等各种领域。 人们可以利用人体姿态识别定位人体关 节点运动轨迹并记录其运动数据,实现3D动画模拟人体运动来制作电影电视； 也可以通过 记录的轨道和数据对运动进行分析； 还 可以实现人机交互、 游戏娱乐,比如体感游戏就是通 过对人体运动姿态进 行识别来实现游戏互动， 显示出其在人机交互领域里巨大的商业开 发 价值和发展潜力。 [0004]现有技术存在以下问题： (1)所存在的一些姿态识别机器人使用传统的卷积神经 网络不仅计算量大， 而且容易出现过拟合的现象。 (2)现有的人体姿态识别技术中模型识别 精度差、 识别速度慢。 发明内容 [0005]本发明提供一种基于kapao网络的人体姿态识别与模拟系统， 实现了对人体姿态 的快速识别和模拟。 [0006]本发明一实施例提供一种基于kapao网络的人体姿态识别与模拟系统， 包括视觉 模块、 控制模块、 推理模块和驱动模块； [0007]所述视觉模块用于获取 人体姿态图像； [0008]所述控制模块用于通过控制其 他模块进行对系统任务进行调度； [0009]所述推理模块用于通过基于kapao网络的人体姿态识别模型对所述人体姿态图像 进行识别； [0010]所述驱动模块用于驱动舵机 旋转， 所述舵机用于控制机器人手部关节； [0011]并根据以下步骤进行 人体姿态 识别和模拟：说　明　书 1/5 页 3 CN 115311739 A 3