(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149451.2 (22)申请日 2022.09.21 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 邵叶秦　尹和　吕昌　张若为　 王梓腾　王海权　宋锦伟　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 许海洲 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于单目视 觉的3D人体姿态检测方法 (57)摘要 本发明公开了一种基于单目视觉的3D人体 姿态检测方法， 包 括： 1、 使用YOL OX模型检测输入 图像中存在的人， 并获得相应的人物检测框； 2、 基于YOLOX检测出的人物 检测框计算检测框中心 点坐标， 然后放大检测出的人物， 从而获得新的 人物图像； 3、 在获得的新人物图像中提取2D人体 关节点坐标序列； 4、 构建回归映射神经网络将2D 人体关节点坐标序列转换为3D人体关节点坐标 序列； 5、 在Human3.6M公开数据集上训练上述回 归映射神经网络； 6、 测试回归映射神经网络， 检 测3D人体姿态。 本方法利用回归的方法检测人体 姿态， 解决了原有方法中出现的漏检情况。 权利要求书2页 说明书4页 附图5页 CN 115497162 A 2022.12.20 CN 115497162 A 1.一种基于单目视 觉的3D人体姿态检测方法， 其特 征在于， 包括以下步骤： 步骤1、 使用YOLOX模型检测输入图像中存在的人， 并获得相应的人物检测框； 步骤2、 计算人物检测框中心点 坐标， 然后放大检测出的人物， 获得新的人物图像； 步骤3、 在获得的新人物图像中提取2D人体关节点 坐标序列； 步骤4、 构建回归映射神经网络将2D人体关节点坐标序列转换为3D人体关节点坐标序 列； 步骤4.1、 使用核大小为3的常规 一维卷积提取输入的2D人体关节点 坐标序列的特 征； 步骤4.2、 将特征输入到包含对位置和方向都敏感的注意力机制CoordAttention的缩 放模块进一步提取特征； 该模块含有两个核 大小为3的深度卷积， 其中在第一个卷积之后添 加改进后的单向CoordAttent ion机制模块以获得强化跨通道信息、 方向信息与位置信息的 特征， 第二个卷积的膨胀系数为3， 并且在两个深度卷积之间添加两个核大小为1的一维卷 积以调整特 征的通道数量； 步骤4.3、 将步骤4.1中获得的特征输入到包含了空间注意力机制的空洞卷积模块中进 一步提取特征； 该模块含有一个核 大小为3空洞率为3的一 维卷积、 一个核 大小为1的一维卷 积以及一个空间注意力机制模块， 三 者依次连接； 步骤4.4、 将步骤4.1中获得的特征通过跳跃连接与步骤4.2、 步骤4.3中获得的特征拼 接， 然后使用一个核大小为1的卷积调整拼接后的通道数量； 步骤4.5、 根据不同大小的感受野堆叠由上述步骤4.2、 步骤4.3、 步骤4.4组成的block 结构， 从而获得回归映射神经网络的主干； 步骤4.6、 在最后一个block之后使用一个核大小为1的一维卷积实现对3D人体关节点 坐标的预测； 步骤5、 在Human3.6M公开数据集上训练上述回归映射神经网络。 回归映射神经网络采 用3D人体姿态检测领域常用的每 个关节的平均位置误差 MPJPE作为损失函数， 公式如下： 其中， N表示被检测视频帧中骨架关节点数量； 表示被检测视频帧中骨架的第i个关节 点的预测值， Ji表示对应关节点的真实值； 步骤6、 测试回归映射神经网络获得3D人体姿态。 2.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法， 其特征在于， 步骤1具 体包括以下步骤： 步骤1.1、 使用在ImageNet数据 集上训练得到的权重作为预训练权重， 然后在自有数据 集上训练YOLOX模型， epoc h为100， 学习率 为0.001， 优化器选择Adam； 步骤1.2、 使用训练后的YOLOX模型检测输入图像中存在的人， 获得相应的人物检测框 。 3.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法， 其特征在于， 步骤2具 体包括以下步骤： 根据人物检测框计算中心点， 然后以高为基准按照16:9的长宽比计算出新的人物检测 框， 并且将其 放大到19 20*1080， 从而获得新的人物图像； 新的人物检测框的高宽分别为： h＝h,w＝(16h)/9。权　利　要　求　书 1/2 页 2 CN 115497162 A 2使用经典的堆叠 沙漏模型从获得的新人物图像中提取2D人体关节点 坐标序列。 4.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法， 其特征在于， 步骤3中 使用经典的堆叠 沙漏模型从获得的新人物图像中提取2D人体关节点 坐标序列。 5.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法， 其特征在于， 步骤5具 体包括以下步骤： 回归映射神经网络在Human3.6M数据集上进行训练， 该数据集包含S1、 S 5、 S6、 S7、 S8、 S9、 S11共七组数据， 其中S1、 S5、 S6、 S7、 S8作为训练集， S9、 S11作为测试集， 网络 共训练80个epoch， 优化器选择Adam， 初始学习为0.001， 采用指数衰减的学习率策略， 每个 epoch应用一个收缩因子0.95； 在经过缩放模块中的深度卷积、 两个核大小为1的卷积和时 域卷积模块中的膨胀卷积及核大小为1的卷积后依次使用批量归一化、 ReLU、 Dropout进行 处理， 其中批量归一化的动量为0.1， 并以指数衰减， 最后一个epoch达到0.001， Dropout值 为0.25。权　利　要　求　书 2/2 页 3 CN 115497162 A 3