(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210759556.3 (22)申请日 2022.06.30 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 叶晨　靳令经　肖潏灏　滕飞　 潘丽珍　李若愚　顾宏凯　 (74)专利代理 机构 上海科律专利代理事务所 (特殊普通 合伙) 31290 专利代理师 叶凤 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G16H 30/20(2018.01) (54)发明名称 一种基于RGB-D图像的颈部肌张力障碍识别 系统 (57)摘要 一种基于RGB ‑D图像的颈部肌张力障碍识别 系统， 包括五个模块， 分别是视频数据采集模块 1、 正面2D关键点检测模块2、 3D关键点检测模块 3、 侧面2D关键点检测模块4、 异常式判别模块5。 同步采集患者正面RGB ‑D图像， 融合深度数据以 消除运动模单视图RGB图像评估颈部肌张力障碍 异常运动模式中出现的深度歧义问题， 提高评估 的精确性。 采集患者侧面RGB图像， 使用患者的2D 侧面关键点评估患者头颈部在Z轴方向的运动， 提高了评估的精确性。 解决从2D图像中评估3D人 体关键点坐标存在深度歧义的问题， 提高人体3D 关键点检测精度。 权利要求书2页 说明书8页 附图6页 CN 115294018 A 2022.11.04 CN 115294018 A 1.一种基于RGB ‑D图像的颈部肌张力障碍识别系统， 其特征在于： 包括五个模块， 分别 是视频数据采集模块(1)、 正面2D关键点检测模块(2)、 3D关键点检测模块(3)、 侧面2D关键 点检测模块(4)、 异常运动模式判别模块(5)； 其中： 视频数据采集模块负责采集RGB ‑D相机的数据， 其中正面RGB图像数据提供给正面2D 关 键点检测模块， 深度图像提供给3D关键点检测模块； 负责采集侧面RGB相机的数据， 侧面 RGB 图像提供给侧面2D关键点检测模块； 正面2D关键点检测模块利用正面RGB图像检测患者的 正面2D关键点坐标， 提供给3D关键点检测模块； 3D关键点检测模块利用患者正面2D关键点 坐标和患者深度图像检测患者的3D关键点， 提供给异常模式判别模块； 侧面2D关键点检测 模块利用侧面 RGB图像检测患者的侧面2D关键点坐标， 提供给异常模式判别模块； 异常运动 模式判别模块负责计算患者头 颈部的运动角度并判断是否存在异常运动模式。 2.根据权利要求1所述的应用系统， 其特征在于： 在正面2D关键点检测模块(2)和侧面 2D关键点检测模块(4)中， 使用深度学习目标检测方法， 在视频图像中具体的位置， 得到带 边界框的图像； 再使用深度学习人体关键点检测方法， 将患者2D人体关键点检测出来。 3.根据权利要求1所述的应用系统， 其特征在于： 在正面2D关键点检测模块(2)中检测 出患者的正面2D关键点坐标， 其包含每个关键点x和y两个维度的数据； 获取患者的正面深 度视频， 将深度视频分解成每一帧， 并对每一帧的深度图像进 行坐标系转换， 使其坐标系与 正面RGB图像的坐标系一致， 这样深度图像的每个像素点于RGB图像的像素点一一对应； 对 于正面RGB图像中的每一个正面2D关键点， 找到其对应深度图像中的像素点数据， 该像素点 表示z轴方向的数据， 将其与 2D关键点中的x轴和y轴方向的数据结合， 得到3D关键点坐标数 据； 其中， 所述的3D关键点包括左肩、 右肩、 左眼、 右眼、 左耳、 右耳以及头、 颈、 鼻； 该3D人体 关键点。 4.根据权利要求1所述的应用系统， 其特征在于： 在异常运动模式判别模块(5)中， 利用 检测出的2D以及3D人体关键点信息对患者的颈部肌肉的异常运动模式进 行评估； 根据头颈 部运动的功能解剖学 特点，“头‑颈”概念将颈 部肌张力障碍分为两种类型： (1)累及头颈复合体， 相对于颈部的头部异常运动； 起始或终止与颅骨或C1椎体的肌肉 异常收缩， 牵拉头 部， 可以导 致头侧倾、 头扭转和头屈伸； (2)累及C2 ‑7椎体， 相对于躯干的颈部异常运动； 起始并终止于C2椎体以下的肌肉收 缩， 牵拉颈 部， 可以导 致颈侧倾、 颈扭转和颈屈伸； 需要评估的异常运动模式有六种， 分别是头侧倾和颈侧倾、 头扭转和颈扭转、 头屈伸和 颈屈伸； 其中对于头侧倾、 颈侧倾以及头扭转和颈扭转使用患者正面人体关键点进 行评估， 而对于头屈伸和颈屈伸则使用患者侧面2D人体关键点进行评估。 5.根据权利要求4所述的应用系统， 其特征在于： 对于头侧倾， 根据夹角 θ1的大小评估 头侧倾的严重等级S1； 6.根据权利要求4所述的应用系统， 其特征在于： 对于头侧倾， 可以根据夹角 θ2的大小 评估颈侧倾的严重等级S2； 权　利　要　求　书 1/2 页 2 CN 115294018 A 27.根据权利要求4所述的应用系统， 其特征在于： 对于头扭转， 可以根据夹角 θ3的大小 评估头扭转的严重等级S3； 8.根据权利要求4所述的应用系统， 其特征在于： 对于颈扭转， 可根据夹角 θ4的大小评 估颈侧倾的严重程度S4； 9.根据权利要求4所述的应用系统， 其特征在于： 对于头屈伸， 可以根据夹角 θ5的大小 评估头屈伸的严重程度S5； 10.根据权利要求4所述的应用系统， 其特征在于： 对于颈屈伸， 可以根据夹角 θ6的大小 评估颈屈伸的严重程度S6； 综上， 对六种异常模式的严重等级评分进行累加即可得到最终的严重程度总评分 Stotal； Stotal＝S1+S2+S3+S4+S5+S6。权　利　要　求　书 2/2 页 3 CN 115294018 A 3