(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111667944.0 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114005169 A (43)申请公布日 2022.02.01 (73)专利权人 中科视语 （北京） 科技有限公司 地址 102300 北京市门头沟区石龙 经济开 发区永安路20号3号楼 A-6193室 (72)发明人 王金桥　刘智威　李碧莹　赵朝阳　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 代理人 任少瑞 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) 审查员 李娜 (54)发明名称 人脸关键点检测方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供一种人脸关键点检测方法、 装 置、 电子设备及存储介质， 其中方法包括： 获取待 检测人脸图； 将所述待检测人脸图输入至人脸关 键点检测模 型， 得到所述人脸关键点检测模型输 出的关键点检测结果； 其中， 所述人脸关键点检 测模型是基于样本人脸图， 以及样 本人脸图对应 的样本脸部UV图、 样本脸部掩模图和样本关键点 的真实坐标训练得到的； 所述人脸关键点检测模 型用于基于所述待检测人脸图的脸部UV图和脸 部掩模图对所述待检测人脸图的人脸特征进行 空间自注 意力增强得到人脸增强特征， 并基于所 述人脸增强特征进行人脸关键点检测。 本发明提 供的方法和装置， 提高了人脸关键点检测的准确 率。 权利要求书3页 说明书13页 附图2页 CN 114005169 B 2022.03.22 CN 114005169 B 1.一种人脸关键点检测方法， 其特 征在于， 包括： 获取待检测人脸图； 将所述待检测人脸图输入至人脸关键点检测模型， 得到所述人脸关键点检测模型输出 的关键点检测结果； 其中， 所述人脸关键点检测模型是基于样本人脸图， 以及样本人脸图对应的样本脸部 UV图、 样本脸部掩 模图和样本关键点的真实坐标训练得到的； 所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所 述待检测人脸图的人脸特征进 行空间自注意力增强得到人脸增强特征， 并基于所述人脸增 强特征进行人脸关键点检测； 所述将所述待检测人脸图输入至人脸关键点检测模型， 得到所述人脸关键点检测模型 输出的关键点检测结果， 包括： 将所述待检测人脸图输入至所述人脸关键点检测模型的特征提取层， 得到所述特征提 取层输出的人脸特 征； 将所述人脸特征输入至所述人脸关键点检测模型的三维信 息提取层， 得到所述三维信 息提取层输出的脸部UV图和脸部掩 模图； 将所述人脸特征、 所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模型的 特征增强层， 得到所述特 征增强层输出的人脸增强特 征； 将所述人脸增强特征输入至所述人脸关键点检测模型的特征识别层， 得到所述特征识 别层输出的关键点检测结果； 所述将所述人脸特征、 所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模 型的特征增强层， 得到所述特 征增强层输出的人脸增强特 征， 包括： 将所述人脸特征、 所述脸部UV图和所述脸部掩模图输入至所述特征增强层的特征变换 层， 由所述特征变换层基于所述脸部UV图和所述脸部掩模图将所述人脸特征变换至所述脸 部UV图所表示的UV空间， 得到结构归一 化的人脸特 征； 将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层， 由所述空间注 意力层基于自注意力机制对所述结构归一化的人脸特征进行增强， 得到所述人脸增强特 征。 2.根据权利要求1所述的人脸关键点检测方法， 其特征在于， 所述将所述结构归一化的 人脸特征输入至所述特征增强层的空间注意力 层， 由所述空间注意力 层基于自注意力机制 对所述结构归一 化的人脸特 征进行增强， 得到所述人脸增强特 征， 包括： 将所述结构归一化的人脸特征输入至所述空间注意力层的注意力变换层， 由所述注意 力变换层基于所述结构归一化的人脸特征确定自注意力机制中的键向量特征、 查询向量特 征和值向量特征， 并基于所述键向量特征、 所述查询向量特征和所述值向量特征对所述结 构归一化的人脸特征进行增强， 得到UV空间中的人脸特征自注意力， 将所述结构归一化的 人脸特征和所述UV空间中的人脸特征自注意力进 行逐元素加和操作， 得到UV空间中的人脸 增强特征； 将所述UV空间中的人脸增强特征， 输入至所述空间注意力层的特征反变换层， 由所述 特征反变换层将所述UV空间中的人脸增强特征反变换至所述人脸特征所在的图像空间， 并 基于反变换 结果和所述人脸特 征确定所述人脸增强特 征。权　利　要　求　书 1/3 页 2 CN 114005169 B 23.根据权利要求1或2所述的人脸关键点检测方法， 其特征在于， 所述样本脸部UV图和 样本脸部掩 模图是基于如下步骤确定的： 确定任一样本人脸图， 以及所述任一样本人脸图对应的样本关键点的真实坐标； 将人脸基准三维模型投影到所述任一样本人脸图中， 基于每一样本关键点的真实坐标 在所述人脸基准三维模型中的对应点投影到所述任一样本人脸图中的投影位置， 以及每一 样本关键点的真实坐标在所述任一样本人脸图中的位置， 确定所述任一样本人脸图对应的 人脸三维模型； 对所述任一样本人脸图对应的人脸三维模型进行二维展开， 得到所述任一样本人脸图 对应的样本脸部UV图， 并基于所述样本脸部UV图中的人脸区域和所述任一样本人脸图， 确 定所述任一样本人脸图对应的样本脸部掩 模图； 其中， 所述人脸基准三维模型是基于人脸基准形状、 中性表情变换基矩阵和表情偏差 基矩阵确定的。 4.根据权利要求1或2所述的人脸关键点检测方法， 其特征在于， 所述人脸关键点检测 模型的损失函数包括3D人脸信息预测损失和关键点检测损失； 所述3D人脸信息预测损失是基于每一样本人脸图对应的样本脸部UV图和样本脸部掩 模图， 以及所述人脸关键点检测模型的三 维信息提取层输出的每一样本人脸图的脸部UV图 预测结果和脸部掩 模图预测结果确定的； 所述关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标， 以及所述 人脸关键点检测模型的特 征识别层输出的每一样本人脸图的关键点检测结果确定的。 5.根据权利要求1或2所述的人脸关键点检测方法， 其特征在于， 所述人脸关键点检测 模型的特 征提取层包括HRNet ‑v2网络模型。 6.一种人脸关键点检测装置， 其特 征在于， 包括： 获取单元， 用于获取待检测人脸图； 检测单元， 用于将所述待检测人脸图输入至人脸关键点检测模型， 得到所述人脸关键 点检测模型输出的关键点检测结果； 其中， 所述人脸关键点检测模型是基于样本人脸图， 以及样本人脸图对应的样本脸部 UV图、 样本脸部掩 模图和样本关键点的真实坐标训练得到的； 所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所 述待检测人脸图的人脸特征进 行空间自注意力增强得到人脸增强特征， 并基于所述人脸增 强特征进行人脸关键点检测； 所述检测单 元包括： 特征提取子单元， 用于将所述待检测人脸图输入至所述人脸关键点检测模型的特征提 取层， 得到所述特 征提取层输出的人脸特 征； 三维信息提取子单元， 用于将所述人脸特征输入至所述人脸关键点检测模型的三维信 息提取层， 得到所述 三维信息提取层输出的脸部UV图和脸部掩 模图； 特征增强子单元， 用于将所述人脸特征、 所述脸部UV图和所述脸部掩模图输入至所述 人脸关键点检测模型的特 征增强层， 得到所述特 征增强层输出的人脸增强特 征； 特征识别 子单元， 用于将所述人脸增强特征输入至所述人脸关键点检测模型的特征识 别层， 得到所述特 征识别层输出的关键点检测结果；权　利　要　求　书 2/3 页 3 CN 114005169 B 3