(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210706990.5 (22)申请日 2022.06.21 (71)申请人 深圳大学 地址 518000 广东省深圳市南 山区粤海街 道南海大道3 688号 (72)发明人 张力　陈南杉　张治国　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李燕娥 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 10/22(2022.01) G06V 10/24(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/11(2017.01) G06T 3/40(2006.01) G06T 3/00(2006.01) G06N 3/04(2006.01) (54)发明名称 基于人脸表情视频的疼痛评估方法、 系统、 设备及介质 (57)摘要 本发明提供了基于人脸表情视频的疼痛评 估方法、 系统、 设备及介质， 该方法包括： 获取人 脸疼痛表情 视频， 并进行人脸预处理以得到预处 理后的人脸表情图像集； 将每一帧人脸表情图像 输入至预先训练的VGG网络中进行空间域特征提 取， 得到对应的特征图； 将每一特征图基于疼痛 表情先验知识进行分割， 得到对应的目标区域； 将每一目标区域输入至预先训练的注意力网络 中， 得到对应的加权特征向量； 将加权特征向量 与对应的输出向量进行特征融合， 得到融合特 征； 将基于融合特征得到的融合特征序列输入至 预先训练的长短时记忆网络中， 得到疼痛强度评 估值。 实现了基于人脸表情视频能够有效地对其 疼痛强度 情况进行评估， 且有利于提高疼痛评估 的准确度。 权利要求书3页 说明书14页 附图2页 CN 114943924 A 2022.08.26 CN 114943924 A 1.一种基于人脸表情视频的疼痛评估方法， 其特 征在于， 包括： 获取人脸疼痛表情视频， 将所述人脸疼痛表情视频中的每一帧图像进行人脸预处理， 得到预处 理后的人脸表情图像集； 将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网 络中进行空间域特 征提取， 得到每一帧人脸表情图像分别对应的特 征图， 以组成特 征图集； 将所述特征图集中每一特征图基于疼痛表情先验知识进行分割， 得到每一特征图分别 对应的目标区域， 以组成目标区域集； 其中， 所述目标区域集每一目标区域为与疼痛相关面 部肌肉运动单 元相应的区域； 将所述目标区域集每一目标区域输入至预先训练 的注意力网络中， 得到所述目标区域 集每一目标区域分别对应的加权特 征向量； 将每一目标区域的加权特征向量与对应的输出向量进行特征融合， 得到每一目标区域 的融合特征； 其中， 将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG 网络中， 得到每一帧人脸表情图像对应的输出向量； 基于每一目标区域的融合特征得到融合特征序列， 将所述融合特征序列输入至预先训 练的长短时记 忆网络中， 得到疼痛强度评估值。 2.根据权利要求1所述的疼痛评估方法， 其特征在于， 所述将所述人脸疼痛表情视频中 的每一帧图像进行 人脸预处 理， 得到预处 理后的人脸表情图像集， 包括： 检测所述人脸疼痛表情视频中的每一帧图像中的人脸区域， 对每一帧图像中的人脸 区 域进行定位； 根据所述每一帧图像中的人脸 区域进行人脸关键点定位处理， 得到所述人脸疼痛表情 视频中的每一帧图像对应的人脸关键点 坐标， 以组成人脸关键点 坐标数据集； 根据所述人脸关键点坐标数据集对所述人脸疼痛表情视频中的每一帧图像进行人脸 对齐处理， 得到预处 理后的人脸表情图像集。 3.根据权利要求2所述的疼痛评估方法， 其特征在于， 所述根据 所述人脸关键点坐标数 据集对所述人脸疼痛表情视频中的每一帧图像进 行人脸对齐处理， 得到预 处理后的人脸表 情图像集， 包括： 基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置， 将所述每 一人脸关键点 坐标的平均位置作为标准 脸关键点 坐标， 得到标准 脸图像； 根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分， 得到若干标准脸图 像三角形； 获取所述人脸疼痛表情视频中的第m帧图像； 其中， m的初始值为1， 且m的取值范围是 [1， M]， M表示所述人脸疼痛 表情视频中所包括图像的总帧数； 基于所述人脸关键点 坐标数据集获取 所述第m帧图像对应的人脸关键点 坐标； 根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述Delaunay三角 剖分， 得到若干第m帧图像三角形； 其中， 所述第m帧图像三角形的数量与所述标准脸图像三 角形的数量相同； 将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸图像中对应 的所述标准 脸图像三角形中， 并通过双线性插值法得到第m帧人脸对齐图像； 将所述第m帧人脸对齐图像 中的非人脸区域进行填充处理， 得到第m 帧预处理后的人脸权　利　要　求　书 1/3 页 2 CN 114943924 A 2表情图像； 将m自增1以更新m的取值， 若确定m未超出M， 返回执行所述获取所述人脸疼痛表情视频 中的第m帧图像的步骤； 若确定m超出M， 获取第1帧预处理后的人脸表情图像至第M帧预处理后的人脸表情图 像， 组成预处 理后的人脸表情图像集。 4.根据权利要求3所述的疼痛评估方法， 其特征在于， 所述基于所述人脸关键点坐标数 据集计算得到每一人脸关键点 坐标的平均位置， 包括： 获取所述人脸关键点坐标数据集， 根据预设公式计算得到每一人脸关键点坐标的平均 位置； 所述预设公式为： 其中， N表示所述人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标总数， 则表示输入的所述人脸疼痛表情视频中的第m帧图像中第i个人脸关键点坐 标， (xi， yi)表示第i个人脸关键点 坐标的平均位置 。 5.根据权利要求1所述的疼痛评估方法， 其特征在于， 所述将所述特征图集中每一特征 图基于疼痛 表情先验知识进行分割， 得到每一特 征图分别对应的目标区域， 包括： 基于疼痛表情先验知识得到目标点集； 其中， 所述目标点集包括与降低眉毛单元对应 的第一目标点、 与提起脸颊 单元对应的第二目标点、 与收紧眼睑单元对应的第三目标点、 与 皱起鼻肌单元对应的第四 目标点、 与提起上唇单元对应的第五目标点以及与眼睛眯缝单元 对应的第六目标点； 获取所述目标点集中第k目标点； 其中， k的初始值为1， 且k的取值范围是[1， L]， L表示 所述目标点 集中所包括目标点的总数； 将所述特 征图集中与所述第k目标点对应的区域进行分割， 得到第k子目标区域； 将k自增1 以更新k的取值， 若确定k未超出L， 返回执行所述获取所述目标点集中第k目 标点的步骤； 若确定k超出L， 获取第1子目标区域至第k子目标区域， 组成目标区域。 6.根据权利要求1所述的疼痛评估方法， 其特征在于， 所述将所述目标区域集每一目标 区域输入至预先训练的注意力网络中， 得到所述目标区域集每一目标区域分别对应的加权 特征向量， 包括： 获取所述目标区域 集每一目标区域中的第k子目标区域； 将所述第 k子目标区域输入至预先训练的注意力网络 中， 得到所述第 k子目标区域的特 征向量及对应的重要性权 重值； 将所述第 k子目标区域的特征向量及对应的重要性权重值进行加权处理， 得到所述第k 子目标区域的加权特 征向量； 将k自增1以更新k的取值， 若确定k未超出L， 返回执行所述获取所述目标 区域集每一目 标区域中的第k子目标区域的步骤； 若确定k超出L， 基于第k子目标区域的加权特征向量至第L子目标区域的加权特征向权　利　要　求　书 2/3 页 3 CN 114943924 A 3