(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210667094.2 (22)申请日 2022.06.14 (65)同一申请的已公布的文献号 申请公布号 CN 114783066 A (43)申请公布日 2022.07.22 (73)专利权人 深圳市第二人民医院 （深圳市转 化医学研究院） 地址 518035 广东省深圳市福田区笋岗西 路3002号 (72)发明人 蒯声政　耿红荔　刘杨　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 刘强 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 20/64(2022.01)G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 7/73(2017.01) G06T 17/00(2006.01) (56)对比文件 CN 114565978 A,202 2.05.31 CN 112749671 A,2021.0 5.04 CN 106156714 A,2016.1 1.23 US 11328535 B1,202 2.05.10 US 2020074165 A1,2020.0 3.05 蒯声政等.步态及影 像学在膝骨性关节炎严 重程度评估中的应用进 展. 《中国康复医学杂 志》 .2020,第3 5卷(第10期),第1274-1279页. 审查员 王菲 (54)发明名称 基于动作捕捉无序点云的关节标签智能识 别系统、 方法 (57)摘要 基于动作捕捉无序点云的关节标签智能识 别系统、 方法， 属于人工智能和人体运动特征评 测技术领域。 为了解决针对动作 捕捉中对无序标 记点人工识别分配标签的方式存在过程繁琐、 效 率较低的问题。 本发明首先构建了以神经网络为 基础的标记 点初步识别模块， 进一步构建了基于 人体不同节段的刚性和同一个骨性标志位的连 续性特征的标记点深度识别模块， 初步识别模块 通过二级识别， 第一级将所有 点按照体节进行分 组， 第二级分别对每个体节上的点逐个识别分配 标签； 然后深度识别模块逐帧检索修正与校验， 可自动去除噪点， 补上丢失的标记点， 以及修正 漂移中断的点。 本发明主要用于动作捕捉无序点 云的关节标签智能识别。 权利要求书3页 说明书7页 附图10页 CN 114783066 B 2022.08.26 CN 114783066 B 1.基于动作捕捉无序点云的关节标签智能识别系统， 其特征在于， 包括初步识别模块 和深度识别模块； 在初步识别模块中， 将连续采集的数据分割成每一帧进行独立识别， 针对每帧数据， 利 用原始位置处 理单元和平移位置处 理单元对每帧数据中的点云进行初步分割和识别； 原始位置处理单元即针对每帧数据中的无序点保持原始位置进行处理， 平移位置处理 单元即针对每帧数据中的无序点平 移到所有点中心后进行处 理； 原始位置处理单元和平移位置处理单元进行标记点识别均采用二级识别方式， 第 一级 将所有点按照体节进行分组， 第二级分别对每 个体节上的点逐个识别分配标签； 针对同一个点在原始位置处理单元和平移位置处理单元中的识别概率， 采用最大池化 的方式获得每个点最 终对应所有体节的识别概率， 将最 终识别概率中体节概率最高对应的 骨性标志位确定为该点的骨性标志 位标签； 分别为每个无序点识别分配相应的骨性标志 位 标签； 深度识别模块中， 首先对初步识别模块中逐帧识别的标签进行逐帧检索， 确定连续若 干帧识别结果完全一致的几帧作为基准帧集合， 以基准帧集合中的中间帧为基准帧， 获得 基准帧中所有识别标签的点对应的编号以及每个刚性体节上的基准点集合， 然后分别向起 始帧和终点帧方向进行 逐帧检索修 正与校验； 检索修 正校验遵循的基本原则如下： 原则一： 相邻两帧之间的空间位移应低于一定的位移阈值， 超过位移阈值的下一帧的 点， 认为是噪点； 原则二： 当当前帧中某个编号点X在下一帧出现丢失时， 在下一帧剩余的其它点中检索 是否有距离当前帧距离小于位移阈值的点， 将小于位移阈值的点调整为当前帧中编号点X 对应的在下一帧中的编号 点； 原则三： 根据同一个刚性体节上各个点之间在运动中保持相对位置关系不变的特征， 相对于基准帧， 当某一帧中刚性体节上一个点或多个点丢失， 根据某一帧中剩余的点构建 刚体模型与基准帧中基准点集合中对应的剩余点通过旋转平移进 行匹配， 进而根据相对位 置关系不变的特 征对丢失点进行补点； 原则四： 根据 连续性原则， 当某个编号点在某几帧丢失时， 根据 前后未丢失的若干帧通 过插值运动进行补点。 2.根据权利要求1所述的基于动作捕捉无序点云的关节标签智能识别系统， 其特征在 于， 检索修正校验过程中， 当原则三和原则四能够同时进行补点时， 优先采用原则三进行 补点。 3.根据权利要求1或2所述的基于动作捕捉无序点云的关节标签智能识别系统， 其特征 在于， 原始位置处 理单元的二级识别方式包括以下步骤： 针对标记点保持原始坐标的无序点， 首先调用进行整体点云分割的第 一全局分割神经 网络模型将无序点按照体节进行分割； 然后针对于不同体节， 分别调用体节各自对应点云分割的第 一局部分割神经网络模型 将体节分割后对应 体节的点 集合进一步分割成每 个点标签。 4.根据权利要求3所述的基于动作捕捉无序点云的关节标签智能识别系统， 其特征在 于， 平移位置处 理单元的二级识别方式包括以下步骤： 针对标记点平移到所有点中心的无序点， 首先调用进行整体点云分割的第 二全局分割权　利　要　求　书 1/3 页 2 CN 114783066 B 2神经网络模型将无序点按照体节进行分割； 然后针对于不同体节， 分别调用体节各自对应点云分割的第 二次局部分割神经网络模 型将每个体节上分割的点 集合进一步分割成每 个点标签。 5.根据权利要求4所述的基于动作捕捉无序点云的关节标签智能识别系统， 其特征在 于， 第一全局分割神经网络， 和/或第一局部分割神经网络， 和 /或第二全局分割神经网络， 和/或第二次局部分割神经网络为Po intNet网络模型或Po intNet++网络模型。 6.基于动作捕捉无序点云的关节标签智能识别方法， 其特征在于， 包括初步识别的步 骤和深度识别的步骤； 初步识别的步骤如下： 将连续采集的数据分割成每一帧进行独立识别， 针对每帧数据， 利用原始位置处理单 元和平移位置处 理单元对每帧数据中的点云进行初步分割和识别； 原始位置处理单元即针对每帧数据中的无序点保持原始位置进行处理， 平移位置处理 单元即针对每帧数据中的无序点平 移到所有点中心后进行处 理； 原始位置处理单元和平移位置处理单元进行标记点识别均采用二级识别方式， 第 一级 将所有点按照体节进行分组， 第二级分别对每 个体节上的点逐个识别分配标签； 针对同一个点在原始位置处理单元和平移位置处理单元中的识别概率， 采用最大池化 的方式获得每个点最 终对应所有体节的识别概率， 将最 终识别概率中体节概率最高对应的 骨性标志位确定为该点的骨性标志 位标签； 分别为每个无序点识别分配相应的骨性标志 位 标签； 深度识别的步骤如下： 首先对初步识别模块中逐帧识别的标签进行逐帧检索， 确定连续若干帧识别结果完全 一致的几帧作为基准帧集合， 以基准帧集合中的中间帧为基准帧， 获得基准帧中所有识别 标签的点对应的编号以及每个刚性体节上的基准点集合， 然后分别向起始帧和终点帧方向 进行逐帧检索修 正与校验； 检索修 正校验遵循的基本原则如下： 原则一： 相邻两帧之间的空间位移应低于一定的位移阈值， 超过位移阈值的下一帧的 点， 认为是噪点； 原则二： 当当前帧中某个编号点X在下一帧出现丢失时， 在下一帧剩余的其它点中检索 是否有距离当前帧距离小于位移阈值的点， 将小于位移阈值的点调整为当前帧中编号点X 对应的在下一帧中的编号 点； 原则三： 根据同一个刚性体节上各个点之间在运动中保持相对位置关系不变的特征， 相对于基准帧， 当某一帧中刚性体节上一个点或多个点丢失， 根据某一帧中剩余的点构建 刚体模型与基准帧中基准点集合中对应的剩余点通过旋转平移进 行匹配， 进而根据相对位 置关系不变的特 征对丢失点进行补点； 原则四： 根据 连续性原则， 当某个编号点在某几帧丢失时， 根据 前后未丢失的若干帧通 过插值运动进行补点。 7.根据权利要求6所述的基于动作捕捉无序点云的关节标签智能识别方法， 其特征在 于， 检索修正校验过程中， 当原则三和原则四能够同时进行补点时， 优先采用原则三进行补 点。 8.根据权利要求6或7所述的基于动作捕捉无序点云的关节标签智能识别方法， 其特征权　利　要　求　书 2/3 页 3 CN 114783066 B 3