(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210028078.9 (22)申请日 2022.01.11 (71)申请人 南昌虚拟现实研究院股份有限公司 地址 330000 江西省南昌市红谷滩新区会 展路545号红谷城投大厦1408室 (72)发明人 曾良军　陈小波　寸毛毛　孙其民　 郭振民　 (74)专利代理 机构 深圳市智圈知识产权代理事 务所(普通 合伙) 44351 专利代理师 朱黎 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 关节关键点的三维坐标的确定方法及其相 关设备 (57)摘要 本申请提供了一种关节关键点的三维坐标 的确定方法及其相关设备， 包括： 确定关节关键 点对应于 各关节图像的中间三维坐标； 确定各关 节图像对应的第一输入信息； 由第一神经网络模 型根据各关节图像对应第一输入信息进行预测； 计算关节关键点对应于各关节 图像的预测三维 坐标； 计算目标关节对应于各关节图像的第一预 测关节长度； 确定对应于各关节图像的关节长度 损失； 确定各关节图像对应的第二输入信息； 由 第二神经网络根据各关节 图像对应的第二输入 信息进行预测； 计算各关节图像对应的总计比例 因子； 若达到迭代结束条件， 则确定目标三维坐 标。 本申请可 实现基于目标关节的多张关节图像 确定各关节 图像对应的关节关键点的三维坐标 及同时预测关节长度信息 。 权利要求书3页 说明书16页 附图5页 CN 114550203 A 2022.05.27 CN 114550203 A 1.一种关节关键点的三维坐标的确定方法， 其特 征在于， 所述方法包括： 获取目标关节的多张关节图像； 根据关节关键点在各所述关节图像中的二维坐标和所述关节图像所来源相机的相机 内参， 确定所述关节关键点对应于各 所述关节图像的中间三维坐标； 根据所述关节关键点对应于各所述关节图像的中间三维坐标和所述关节关键点在各 所述关节图像中的相对深度， 确定各 所述关节图像对应的第一输入信息； 由第一神经网络模型根据各所述关节图像对应的第 一输入信 息进行比例因子预测， 得 到各所述关节图像对应的预测比例因子； 根据各所述关节图像对应的预测比例因子和所述关节关键点对应于各所述关节图像 的中间三维坐标， 计算所述关节关键点对应于各 所述关节图像的预测三维坐标； 根据关节关键点对应于各所述关节图像的预测三维坐标， 计算所述目标关节对应于各 所述关节图像的第一预测关节长度； 根据所述目标关节对应于各所述关节图像的第 一预测关节长度， 确定对应于各关节图 像的关节长度损失； 根据对应于各关节图像的关节长度损失和各所述关节图像对应的第 一输入信 息， 确定 各关节图像对应的第二输入信息； 由第二神经网络根据 各关节图像对应的第 二输入信 息进行比例因子变化量预测， 得到 对应于各 所述关节图像的预测比例因子变化 量； 将对应于各所述关节图像的预测比例因子变化量与各所述关节图像对应的预测比例 因子对应相加， 得到各 所述关节图像对应的总计比例因子； 根据各所述关节图像对应的总计比例因子计算所述目标关节对应于各所述关节图像 的相互长度损失； 根据各所述关节图像对应的相互长度损失判断是否 达到迭代结束条件； 若达到迭代结束条件， 则根据 各所述关节图像对应的总计比例因子和所述关节关键点 对应于各 所述关节图像的中间三维坐标， 确定所述关节关键点的目标三维坐标。 2.根据权利要求1所述的方法， 其特征在于， 所述根据各所述关节图像对应的相互长度 损失判断是否 达到迭代结束条件之后， 所述方法还 包括： 若确定未达到迭代结束条件， 则将所述各所述关节图像对应的总计比例因子作为下一 轮迭代过程中各所述关节图像的预测比例因子， 并返回执行所述根据各所述关节图像对应 的预测比例因子和所述关节关键点对应于各所述关节图像的中间三 维坐标， 计算所述关节 关键点对应于各 所述关节图像的预测三维坐标的步骤。 3.根据权利要求1所述的方法， 其特征在于， 所述根据各所述关节图像对应的预测比例 因子和所述关节关键点对应于各所述关节图像的中间三 维坐标， 计算所述关节关键点对应 于各所述关节图像的预测三维坐标之后， 所述方法还 包括： 根据所述关节关键点对应于各所述关节图像的预测三维坐标， 计算所述关节关键点对 应于各所述关节图像的预测相对深度； 根据所述关节关键点对应于各所述关节图像的预测相对深度和所述关节关键点在各 所述关节图像中的相对深度， 计算所述关节关键点对应于各所述关节图像对应的相对深度 损失；权　利　要　求　书 1/3 页 2 CN 114550203 A 2将所述关节关键点对应于各所述关节图像对应的相对深度损失添加到所对应关节图 像对应的第二输入信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述根据对应于各关节图像的关节长度损 失和各所述关节图像对应的第一输入信息， 确定各关节图像对应的第二输入信息， 包括： 将对应于各所述关节图像的关节长度损失和各所述关节图像对应的第一输入信息进 行组合， 得到各 所述关节图像对应的第二输入信息 。 5.根据权利要求1所述的方法， 其特征在于， 所述关节关键点包括指示所述目标关节的 一个端部的第一关节关键点和所述目标关节的另一个端部的第二关节关键点； 所述根据关节关键点对应于各所述关节图像的预测三维坐标， 计算所述目标关节对应 于各所述关节图像的第一预测关节长度， 包括： 对于每一所述关节图像， 根据 所述第一关节关键点对应于所述关节图像的预测三维坐 标和所述第二关节关键点对应于所述关节图像的预测三 维坐标， 计算所述第一关节关键点 与所述第二关节关键点之间的欧式距离； 将所计算得到的欧式距离， 作为所述目标关节对应于所述关节图像的第 一预测关节长 度。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标关节对应于各所述关节 图像的第一预测关节长度， 确定对应于各关节图像的关节长度损失， 包括： 将所述目标关节对应于全部所述关节图像的第 一预测关节长度进行均值计算， 得到平 均预测关节长度； 将所述目标关节对应于各所述关节图像的第一预测关节长度与所述平均预测关节长 度相减， 得到对应于各关节图像的关节长度损失。 7.根据权利要求1所述的方法， 其特征在于， 所述根据各所述关节图像对应的总计比例 因子判断是否 达到迭代结束条件之后， 所述方法还 包括： 若达到迭代结束条件， 将每一所述关节图像对应的总计比例因子和所述关节关键点在 所对应关节图像的中间三 维坐标相乘， 得到所述关节关键点对应于每一所述关节图像的候 选三维坐标； 根据所述关节关键点对应于每一所述关节图像的候选三维坐标， 确定所述目标关节对 应于每一所述关节图像的候选关节长度； 将所述目标关节对应于全部所述关节图像的候选关节长度进行均值计算， 得到所述目 标关节的目标关节长度。 8.一种关节关键点的三维坐标的确定装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取目标关节的多张关节图像； 中间三维坐标确定模块， 用于根据关节关键点在各所述关节图像中的二维坐标和所述 关节图像所来源相机的相机内参， 确定所述关节关键点对应于各所述关节图像的中间三 维 坐标； 第一输入信 息确定模块， 用于根据 所述关节关键点对应于各所述关节图像的中间三维 坐标和所述关节关键点在各所述关节图像中的相对深度， 确定各所述关节图像对应的第一 输入信息； 第一预测模块， 用于由第 一神经网络模型根据各所述关节图像对应的第 一输入信 息进权　利　要　求　书 2/3 页 3 CN 114550203 A 3