(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210674240.4 (22)申请日 2022.06.15 (71)申请人 浙江大学 地址 310000 浙江省杭州市西湖区余杭塘 路866号 申请人 浙江大学滨江研究院 (72)发明人 许迎科　于佳辉　 (74)专利代理 机构 杭州新泽知识产权代理事务 所(特殊普通 合伙) 33311 专利代理师 叶丽慧 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G16H 20/30(2018.01) (54)发明名称 一种用于机器辅助康复系统的目标身份检 测系统及方法 (57)摘要 本发明公开了一种用于机器辅助康复系统 的目标身份检测系统及方法， 本发明， 包括包括 RSSD模块、 TA‑LSTM模块、 目标检测模块和实时身 份识别模块， 其特征在于： RSSD 模块， 用于对康复 视频每一帧中患者肢体或辅助工具检测框信息 进行提取； TA ‑LSTM模块， 对目标进行检测， 抑制 无用特征来降低计算量， 并对目标特征进行增 强； 目标检测模块， 对康复视频每一帧中患者肢 体或辅助工具的检测框信息， 检测框信息包括目 标类别分数、 检测框中心点坐标与宽高； 实时身 份识别模块， 对动态帧的目标进行身份识别， 并 且进行对应的身份标号。 本发明中， 静态帧和视 频流的联合训练来实现帧间挖掘， 从而提高检测 效率， 并避免了由于患者运动、 监测摄像头异常 等所产生的问题帧的误检漏检 。 权利要求书3页 说明书10页 附图4页 CN 115294642 A 2022.11.04 CN 115294642 A 1.一种用于机器辅助康复系统的目标身份检测系统， 包括RSSD模块、 TA ‑LSTM模块、 目 标检测模块和实时身份识别模块， 其特 征在于： RSSD模块， 用于对康复视频每一帧中患者肢体或辅助工具检测框信息进行提取； TA‑LSTM模块， 对目标进行检测， 抑制无用特 征来降低计算 量， 并对目标 特征进行增强； 目标检测模块， 对康复视频每一帧中患者肢体或辅助工具的检测框信息， 检测框信息 包括目标类别分数、 检测框中心点 坐标与宽高； 实时身份识别模块， 对动态帧的目标进行身份识别， 并且进行对应的身份标号。 2.根据权利要求1所述的一种用于机器辅助康复系统的目标身份检测系统， 其特征在 于： 所述RSSD模块将SSD 模块的主干网络VGG ‑16替换为Resnet ‑101网络， 并结合特征金字塔 的思想得到一种三级特 征提取结构以综合浅层特 征和深层特 征进行后续建模。 3.根据权利要求1所述的一种用于机器辅助康复系统的目标身份检测系统， 其特征在 于： 所述RSSD模块架构中RSSD的主干网络中Conv4的通道数是1024； RSSD的后四层中Conv8 的通道数是512， 据特征金字塔的思想将Conv4及其之后的所有卷积层分为低层特征图部 分、 中间层特 征图部分和深层特 征图部分三个部分。 4.根据权利要求1所述的一种用于机器辅助康复系统的目标身份检测系统， 其特征在 于： 所述TA ‑LSTM模块引入时空序列模型ST ‑LSTM来实现帧间挖掘， 结合注意力机制中的遗 忘门和相关门， 得到时域注意机制长短时TA ‑LSTM模块， 由注 意力机制对时空序列模 型提供 准确的物体位置区域以选择性地更新记忆， 同时时空序列模型为注意过程提供丰富的时间 信息以产生更精准的注意地图； 从而准确的抑制无用特征并降低计算量， 实现目标特征 的 增强， 其中无用特 征是冗余尺度特 征与背景 特征。 5.根据权利要求1所述的一种用于机器辅助康复系统的目标身份检测系统， 其特征在 于： 所述目标检测 模块利用SSD的Defalut  Box机制， 获取康复视频每一帧中患者肢体或辅 助工具的检测框信息， 检测框信息包括目标类别分数、 检测框中心点 坐标与宽高。 6.一种用于机械辅助康复系统的目标检测方法， 其特征在于： 对康复视频中的患者肢 体与辅助工具进行检测并分配唯一的ID， 使用联合训练方案， 将训练后的模型应用于康复 系统后， 其具体实施步骤如下： 步骤一： 使用RS SD模块实现康复视频中静态帧的特 征提取； 步骤二： 使用TA ‑LSTM模块实现特 征增强； 步骤三： 使用目标检测算法生成康复视频中的患者肢体或辅助工具的候检测框； 步骤四： 使用实时身份识别模块对康复视频中的患 者肢体或辅助工具进行实时身份识 别。 7.根据权利要求6所述的一种用于机器辅助康复系统的目标身份检测方法， 其特征在 于： 所述TA ‑LSTM解决实时区分 的方法， 根据注意图来表示不同对象之间的差异， 从浅层特 征提取信息和减少浅层特 征的提取向量以降低计算成本 。 8.根据权利要求6所述的一种用于机器辅助康复系统的目标身份检测方法， 其特征在 于： 所述实时身份识别模块的方法， 由在 线Tubelet分析， 来实现对多对象 的实时身份识别， 每帧中检测 框信息的输入， 同时输入低级TA ‑LSTM输出的注意图以辅助区分视频中的相 似 目标， 然后结合非极大值抑制思想抑制 冗余的检测框提取最终检测框， 最后根据算法为康 复视频中患者肢体或辅助工具分配唯一且连续对应的身份编号。权　利　要　求　书 1/3 页 2 CN 115294642 A 29.根据权利要求7所述的一种用于机器辅助康复系统的目标身份检测方法， 其特征在 于： 所述低级 TA‑LSTM输出的注意图和检测网络 输出的检测框形成T ubeIet有以下步骤： S1、 遍历视频中检测的类别： S1.1、 判断是否有检测该类别的检测框， 是则进入S1.2， 否则进入S1.4； S1.2、 遍历有检测框的该类别对象； S1.2.1、 将该对象与检测框的最大关联度 的初始值设为0； S1.2.2、 遍历所有检测该类别的检测框； S1.2.3、 判断该检测框与该对象的关联度Cobj， tube是否大于 是则进入S1.2.4， 否 则返回S1.2.2继续遍历； S1.2.4、 将Cobj， tube赋值给 同时将检测框的值赋值给 该对象的候选 框CAND； S1.2.5、 判断 是否大于阈值tMT， 是则进入S1.2.6， 否则返回S1.2继续遍历； S1.2.6、 将该对象的候选身份objCAND[ID]赋值给该对象， 并返回S1.2继续遍历， 若遍历结 束则进入S1.3； S1.3、 遍历所有检测该类别的检测框； S1.3.1、 判断检测框是否匹配到对象， 若是则进入S1.3.2， 否则返回S1.3继续遍历； S1.3.2、 获得 该类别最大关联度C， 并返回S1.3继续遍历， 若 遍历结束则进入S1.4； S1.4、 遍历没有匹配身份的对象； S1.4.1、 判断如果该对象的候选编号置信度是否大于检测框置信度， 若是则进入 S1.4.2， 否则返回S1.4继续遍历； S1.4.2、 将候选身份objUNI_ID赋值给该对象， 并返回S1.4继续遍历， 若遍历结束则进入 S1.5； S1.5、 更新该类别的检测框， 并返回S1 继续遍历， 若 遍历结束则进入S2； S2、 输出对象的身份。 10.根据权利要求6所述的一种用于机器辅助康复系统 的目标身份检测方法， 其特征在 于： 所述静态帧和 视频的联合训练方法， 由TA ‑LSTM模型为每个帧生成相 似的全局记忆， 当 检测到检测框信息遮挡或画面质量低的静态帧时， TA ‑LSTM模型可以回忆先前帧的特征以 辅助当前帧的检测； 训练方法包括： 1)置信度损失Lc； 2)位置损失Ll； 3)注意力损失Lat； 4)关 联损失Las， 该训练过程仅在RSSD和TA ‑LSTM中进行， 身份感知算法不参与训练， 整体训练计 算公式为： L＝α Lc， l+δ Lat+σ Las   (1) 式中， α 、 δ、 σ 是 各损失的权 重； Lc用Softmax损失函数进行训练， Ll用平滑L1损失函数进行训练， 二者的联合损失Lc， l计 算公式为： 式中， N是匹配 的真值框 的数目， c表示置信度得分， d表示默认框， g表示真值框； xi， j表 示默认框和真实框是否 匹配(xi， j＝0表示没有匹配， xi， j＝1表示匹配)； β用于调整Lc和Ll的权　利　要　求　书 2/3 页 3 CN 115294642 A 3