(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210708346.1 (22)申请日 2022.06.22 (71)申请人 山东第一医科 大学附属省立医院 （山东省立医院） 地址 250014 山东省济南市经十路967 7号 山东省立医院东院护理部 (72)发明人 刘霞　吴钰　陈霞　孙芳芳　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 董延丽 (51)Int.Cl. G16H 50/20(2018.01) G16H 50/30(2018.01) G06V 40/16(2022.01) G06V 10/77(2022.01)G06V 10/764(2022.01) G06V 10/44(2022.01) G06T 7/00(2017.01) G06N 20/10(2019.01) G10L 25/66(2013.01) (54)发明名称 一种卒中康复情况检测方法及设备 (57)摘要 本申请实施例公开了一种卒中康复情况检 测方法及设备。 通过安装于镜子上的图像采集装 置获取用户的当前面部图像与当前声音数据； 对 当前面部图像进行采样点标注， 以确定出预设数 量的面部关键点； 对面部关键点进行连线处理， 确定出第一卒中评估值； 对当前声音数据进行随 机采样， 并获取采样点的信息， 对当前声音数据 进行声音特征值提取， 基于采样点信息与提取的 声音特征值确定出第二卒中评估值； 将当前面部 图像与预置卒中面部图像进行比对， 以及将当前 声音数据与预置健康声音数据进行比对， 以得到 卒中康复评估值； 基于第一卒中评估值、 第二卒 中评估值 以及卒中康复评估值确定出用户的卒 中康复状况。 权利要求书4页 说明书12页 附图2页 CN 114999636 A 2022.09.02 CN 114999636 A 1.一种卒中康复情况检测方法， 其特 征在于， 所述方法包括： 通过安装于 镜子上的图像采集装置获取用户的当前面部图像； 对所述当前面部图像进行采样点标注， 以根据标注的采样点确定出面部关键点； 对所述面部关键点进行连线处理， 并将面部关键点之间的连线与参考连线进行比对， 以确定出所述当前面部图像对应的第一卒中评估值； 其中， 所述参考连线与用户健康期间 对应的面部图像相关； 通过安装于 镜子上的声 音采集装置获取用户的当前声 音数据； 对所述当前声音数据进行随机采样， 以获取采样点的信息， 以及对所述当前声音数据 进行声音特征值提取， 以基于所述采样点的信息、 提取 的声音特征值与预置卒中参考声音 数据确定出第二卒中评估值； 其中， 所述预置卒中参考声音数据与患者卒中期间的多种声 音数据相关； 将所述当前面部图像与预置卒中面部图像进行比对， 以及将所述当前声音数据与 预置 健康声音数据进行比对， 以得到卒中康复评估值； 基于所述第一卒中评估值、 所述第二卒中评估值以及所述卒中康复评估值， 对用户进 行卒中康复情况提醒。 2.根据权利要求1所述的一种卒中康复情况检测方法， 其特征在于， 对所述当前面部图 像进行采样点标注， 以根据标注的采样点确定出面部关键点， 具体包括： 将所述当前面部 图像作为第一层图像， 对所述当前面部 图像进行高斯低通滤波， 对滤 波后的图像进 行采样点标注， 并基于标注的采样点生成第二层图像； 其中， 相 邻两个采样点 之间间隔一个 像素点； 对所述第二层图像进行采样点标注， 并基于标注的采样点 生成第三层图像； 以此类推， 以获取若干图层， 并基于获取到的所述若干图层构建多尺度图像集 合； 通过FasterR‑CNN模型对所述多尺度图像集 合进行面部区域定位； 通过深度残差网络ResNet ‑101对所述多尺度图像集合对应的面部区域进行特征图提 取， 并按照所述若干图层的生成顺序， 将所述多尺度图像集合对应的多个特征图进 行叠加， 以对叠加后的特 征图进行关键点确定 。 3.根据权利要求2所述的一种卒中康复情况检测方法， 其特征在于， 所述对叠加后的特 征图进行关键点确定， 具体包括： 将所述叠加后的特征图， 输入预置面部关键点检测模型， 通过所述预置面部关键点检 测模型的全连接网络对所述叠加后的特征图进行面部区域标注， 并通过非极大抑制算法对 标注的面部区域进行筛 选， 以得到与实际面部区域的面积相同第一 面部区域 集合； 将所述第一面部区域集合输入所述预置面部关键点检测模型的Refine  Network网络 层， 以对所述第一面部区域集合进行面部关键点标注， 并通过非极大抑制算法对标注的面 部关键点进行筛 选， 以得到与实际面部关键点 面积相同的第二 面部区域 集合； 将所述第二面部区域集合输入所述预置面部关键点检测模型的Output  Network网络 层， 以对所述第二 面部区域 集合进行面部关键点定位。 4.根据权利要求1所述的一种卒中康复情况检测方法， 其特征在于， 对所述面部关键点 进行连线处理， 并将面部关键点之间的连线与参考连线进行比对， 以确定出所述当前面部 图像对应的第一 卒中评估值， 具体包括：权　利　要　求　书 1/4 页 2 CN 114999636 A 2基于预设关键点位置模板， 对所述面部关键点进行分类， 以得到内 眼角关键点、 外眼角 关键点、 嘴角关键点以及鼻部关键点； 确定多个 内眼角关键点之间的第 一连线， 以及确定出多个外眼角关键点之间的第 二连 线， 将所述第一连线、 所述第二连线分别与水平方向参考连线进 行比对， 以确定出第一连线 对应的内眼角倾 斜角度， 以及第二连线对应的外眼角倾 斜角度； 确定出同一只眼睛对应的内 眼角关键点与外眼角关键点之间的第 三连线， 将所述第 三 连线与水平方向参 考连线进行比对， 以确定出外眼角下垂角度； 确定所述嘴角关键点与所述鼻部关键点之间的第四连线， 基于所述第四连线与水平方 向参考连线进行比对， 以确定出嘴角倾 斜角度； 将所述内眼角倾斜角度、 所述外 眼角倾斜角度、 所述外 眼角下垂角度以及所述嘴角倾 斜角度进行加权融合， 以得到第一 卒中评估值。 5.根据权利要求4所述的一种卒中康复情况检测方法， 其特征在于， 将所述内 眼角倾斜 角度、 所述外眼角倾斜角度、 所述外眼角下垂角度以及所述嘴角倾斜角度进行加权融合， 以 得到第一 卒中评估值， 具体包括： 基于所述内眼角倾斜角度、 所述外 眼角倾斜角度、 所述外 眼角下垂角度以及所述嘴角 倾斜角度， 得到所述内眼角倾斜角度、 所述外眼角倾斜角度、 所述外眼角下垂角度以及所述 嘴角倾斜角度分别对应的倾 斜角度级别； 基于倾斜角度以及所述倾斜角度级别分别对应的权重值， 确定出所述面部图像对应的 倾斜角度加权值； 将所述倾斜角度加权值与 预置卒中评估表进行比对， 以确定出所述当前面部图像对应 的第一卒中评估值。 6.根据权利要求1所述的一种卒中康复情况检测方法， 其特征在于， 对所述当前声音数 据进行随机采样， 以获取采样点的信息， 以及 对所述当前声音 数据进行声音特征值提取， 以 基于所述采样点的信息、 提取的声音 特征值与预置卒中参考声音 数据确定出第二卒中评估 值， 具体包括： 基于所述当前声音数据确定出相应的声音波形， 并通过汉明窗对所述声音波形进行分 帧处理， 得到多帧声 音波形； 对每一帧声音波形进行随机采样， 并对相邻两个采样点对应的采样值进行比对， 以根 据相邻连个采样值的正负情况， 确定出所述每一帧声音波形中过零点的采样点的数量， 以 及所述过零 点的采样点的坐标； 对所述声音波形进行小波分解， 并对分解后的小波进行重构， 以得到去噪后的声音波 形； 通过梅尔频谱倒谱系数法对去噪后的声音波形进行声音特征值提取， 并将提取出的声 音特征值输入 预置SVM声音分类模 型， 以通过所述预置SVM声音分类模型确定出所述去噪后 的声音波形对应的卒中等级类型； 其中， 所述声音特征值包括所述去 噪后的声音波形对应 的时间、 频率以及幅值； 将所述过零点的采样点的数量与 所述过零点的采样点的坐标， 与预置卒中声音数据模 板进行比对， 以根据比对结果得到第一 风险值； 基于所述 卒中等级类型确定出第二 风险值；权　利　要　求　书 2/4 页 3 CN 114999636 A 3