(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210039259.1 (22)申请日 2022.01.13 (71)申请人 上海良方健康科技有限公司 地址 200000 上海市闵行区中春路98 8号11 幢2楼 (72)发明人 何杨　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 专利代理师 杨国瑞 (51)Int.Cl. G16H 20/30(2018.01) G06V 40/10(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 一种处方显示方法以及系统 (57)摘要 本发明涉及医疗信息展示技术领域， 公开了 一种处方显示方法以及系统。 通过本发明创造， 提供了一种适用于小儿推拿处方的处方显示方 案， 即先通过基于视觉的人体动作识别技术， 自 动识别在 小儿推拿疗程中的各个小儿推拿手法， 再通过基于手法识别结果对小儿推拿处方中正 在施行的小儿推拿手法、 已施行过的小儿推拿手 法和未施行过的小儿推拿手法进行不同详细程 度及不同展示效果的区别显示， 可以帮助父母或 新手在小儿推拿疗程中逐渐掌握推拿要领及实 时推拿进度， 使得在家根据小儿推拿处方对小孩 进行小儿推拿成为可能， 并可实现对小儿推拿疗 程进行有效监 督的目的， 便 于实际应用和推广。 权利要求书3页 说明书11页 附图3页 CN 114496157 A 2022.05.13 CN 114496157 A 1.一种处方显示方法， 其特 征在于， 包括： 获取由摄像头实时采集的小儿推拿视频， 其中， 所述摄像头的镜头视野固定涵盖小儿 推拿现场； 采用基于视觉的人体动作识别算法， 对所述小儿推拿视频中的多帧连续视频图像进行 推拿手法识别处 理， 得到推 拿手法识别结果； 根据所述推拿手法识别结果， 确定出正在施行的小儿推拿手法和已施行过的小儿推拿 手法； 在显示包含有多个小儿推拿手法的小儿推拿处方时， 控制显示屏以第 一展示效果实时 显示在所述多个小儿推拿手法中正在施行的小儿推拿手法的详细信息， 以及控制所述显示 屏以第二展示效果实时显示在所述多个小儿推拿手法中已施行过 的小儿推拿手法的简略 信息， 以及 控制所述显示屏以第三展示效果 实时显示在所述多个小儿推拿手法中未施行过 的小儿推拿手法的简略信息， 其中， 所述第一展示效果、 所述第二展示效果和所述第三展示 效果为预设的三个不同展示效果。 2.如权利要求1所述的处方显示方法， 其特征在于， 采用基于视觉的人体动作识别算 法， 对所述小儿推拿视频中的多帧连续视频图像进行推拿手法识别处理， 得到推拿手法识 别结果， 包括： 通过窗口滑动方式从所述小儿推 拿视频中提取 出一组多帧连续视频图像； 针对所述多帧连续视频图像中的各帧视频图像， 进行人体关节点提取处理， 得到对应 的人体关节点数据， 其中， 所述人体关节点数据中包含有多个人体关节点在对应视频图像 采集时的空间特征信息， 所述多个人体关节点属于同一人体且能够表征人体做出推拿动 作； 针对小儿推拿处方中的各个小儿推拿手法， 将所述多帧连续视频图像及人体关节点数 据送入对应的且基于快慢双通道网络的推拿手法识别模型， 输出得到是否存在 对应推拿动 作的二分类识别结果， 其中， 所述快慢双通道网络包括有快速通道子网络、 慢速通道子网络 和综合处理输出层， 所述快速通道子网络用于采用第一抽帧方式从所述多帧连续视频图像 中抽取出多个第一图像， 然后对所述多个第一图像进行3D卷积处理， 所述慢速通道子网络 用于采用第二抽帧方式从所述多帧连续视频图像中抽取出至少一个第二图像， 然后对所述 至少一个第二图像进 行2D卷积处理， 并综合来自所述快速通道子网络的3D卷积处理结果进 行3D卷积处理， 所述综合处理输出层用于根据所述快速通道子网络和所述慢速通道子网络 的3D卷积处理结果， 采用softmax函数得到是否存在对应推拿动作的二分类识别结果， 所述 第一图像为在视频图像上未加载对应的人体关节 点数据的原图像， 所述第二图像为在视频 图像上加载有对应的人体关节点数据的新图像， 所述第二抽帧方式的抽帧个数少于所述第 一抽帧方式的抽帧个数， 所述 二分类识别结果包 含有指示存在对应 推拿动作的置信度； 根据所述各个小儿推拿手法的二分类识别结果， 将与最大置信度对应的小儿推拿手法 作为与所述多帧连续视频图像对应的推 拿手法识别结果。 3.如权利要求1所述的处方显示方法， 其特征在于， 当所述摄像头的数目有多个且以不 同视角使对应的镜头视野固定涵盖所述小儿推拿现场时， 采用基于视觉的人体动作 识别算 法， 对所述小儿推拿视频中的多帧连续视频图像进行推拿手法识别处理， 得到推拿手法识 别结果， 包括：权　利　要　求　书 1/3 页 2 CN 114496157 A 2针对各个摄像头， 通过窗口滑动方式从对应的小儿推拿视频中提取出一组在同一 时段 采集的多帧连续视频图像； 采用基于视觉的人体动作识别算法， 分别对所述各个摄像头的多帧连续视频图像进行 推拿手法识别处理， 得到与所述各个摄像头一一对应的推拿手法识别结果， 其中， 所述推拿 手法识别结果包 含有指示存在某个小儿推 拿手法的置信度； 根据所有摄像头的推拿手法识别结果， 将与最大置信度对应的小儿推拿手法作为与 所 述同一时段对应的推 拿手法识别结果。 4.如权利要求1所述的处方显示方法， 其特征在于， 采用基于视觉的人体动作识别算 法， 对所述小儿推拿视频中的多帧连续视频图像进行推拿手法识别处理， 得到推拿手法识 别结果， 包括： 通过窗口滑动方式从所述小儿推 拿视频中提取 出一组多帧连续视频图像； 采用基于视觉的人体动作识别算法， 对所述多帧连续视频图像进行推拿手法识别处 理， 得到推 拿手法识别结果； 根据所述推拿手法识别结果， 确定出正在施行的小儿推拿手法和已施行过的小儿推拿 手法， 包括： 在根据所述推拿手法识别结果判定识别出的某个小儿推拿手法记录在包含有多个小 儿推拿手法的小儿推拿处方时， 若与所述推拿手法识别结果对应的视频图像采集时段为最 近时段， 则将该某个小儿推拿手法确定为正在施行 的小儿推拿手法， 否则将该某个小儿推 拿手法确定为已施行 过的小儿推 拿手法。 5.如权利要求4所述的处方显示方法， 其特征在于， 当在所述小儿推拿处方中记录有各 个儿童推拿手法的推拿目标时长时， 控制显示屏以第一展示效果 实时显示在所述多个小儿 推拿手法中正在施行的小儿推拿手法， 以及控制所述显示屏以第二展示效果 实时显示在所 述多个小儿推拿手法中已施行过的小儿推拿手法， 以及 控制所述显示屏以第三展示效果 实 时显示在所述多个小儿推 拿手法中未施行 过的小儿推 拿手法， 包括： 获取与正在施行的小儿推拿手法对应的推拿计时器的当前计时值， 其中， 所述推拿计 时器在初次识别出对应 推拿手法时启动， 并仅在再次识别出对应 推拿手法时走时； 针对正在施行的小儿推拿手法， 根据对应的推拿目标时长和当前计时值， 计算得到对 应的推拿剩余时长； 控制显示屏以第一颜色实时显示在所述多个小儿推拿手法中正在施行的小儿推拿手 法的手法名称、 手法描述内容和推拿剩余时长， 以及控制所述显示屏以第二颜色实时显示 在所述多个小儿推拿手法中已施行过的小儿推拿手法的手法名称， 以及控制所述显示屏以 第三颜色实时显示在所述多个小儿推拿手法中未施行过的小儿推拿手法的手法名称， 其 中， 所述第一颜色、 所述第二颜色和所述第三颜色为预设的三种不同静态颜色。 6.如权利要求5所述的处方显示方法， 其特征在于， 在针对正在施行的小儿推拿手法， 根据对应的推拿目标时长和当前计时值， 计算得到对应的推拿剩余时长之后， 所述方法还 包括： 判断所述推 拿剩余时长是否大于零； 若否， 则控制所述显示屏以警示颜色实时显示在所述多个小儿推拿手法中正在施行的 小儿推拿手法的手法名称和推拿剩余时长， 其中， 所述 警示颜色为与所述第一颜色、 所述第权　利　要　求　书 2/3 页 3 CN 114496157 A 3