(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210809438.9 (22)申请日 2022.07.11 (71)申请人 湖南中科助英智能科技研究院有限 公司 地址 410000 湖南省长 沙市岳麓区桐梓坡 路96号 (72)发明人 谢剑斌　高峰　谢昌颐　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 李杨 (51)Int.Cl. G06V 10/774(2022.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06T 5/00(2006.01) (54)发明名称 一种去遮罩人脸恢复的方法、 装置、 计算机 设备和介质 (57)摘要 本申请涉及一种去遮罩人脸恢复的方法、 装 置、 计算机设备和存储介质。 所述方法包括： 通过 在去遮罩人脸恢复模型中设计空洞插值卷积模 块， 能够填补人脸遮罩模块像素， 提高模型执行 效率以及提高生成面部的多样性； 通过使用动态 选择卷积模块学习特征， 通过注 意力权重获取高 权重特征信息， 促进卷积块有效地学习图像特 征； 另外通过第二通路中的上下文注意力模块， 可以有效地从遥远的空间位置借用信息来重建 局部缺失的像素。 通过训练集数据对去遮罩人脸 恢复模型进行训练， 得到训练好的去遮罩人脸恢 复模型， 用于对戴口罩等的被遮罩的人脸进行去 遮罩处理。 权利要求书2页 说明书8页 附图4页 CN 115223012 A 2022.10.21 CN 115223012 A 1.一种去遮罩人脸恢复的方法， 其特 征在于， 所述方法包括： 获取人脸图像的训练集数据， 对所述训练集数据进行预处理， 得到对应的人脸遮罩集 数据； 所述人脸遮罩 集数据中人脸图像面部及嘴部被方 形遮罩替代； 将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢 复模型中； 所述去遮罩人 脸恢复模 型包括第一通路、 第二通路、 特征融合模块和图像输出模块； 所述第一通路包括空 洞插值卷积模块， 多层动态选择卷积模块和多层空洞卷积模块； 所述多层动态选择卷积模 块和所述多层空洞卷积模块构成U型卷积网络； 所述第二通路为U型卷积网络， 包括多层动 态选择卷积模块和上下文注意力模块； 所述空洞插值卷积模块用于通过填入噪声对所述人 脸遮罩集数据中的人脸遮罩图像进行孔洞填补； 所述第一通路和所述第二通路中的动态选 择卷积模块用于通过softmax函数提取高权重特征； 所述空洞 卷积模块用于进行扩大感受 野的特征提取； 所述上下文注意力模块用于借用有效空间像素进行孔洞填补； 所述特征融 合模块用于对所述第一通路和所述第二通路的输出进 行特征融合； 所述图像输出模块用于 根据所述特 征融合模块的输出激活得到人脸的生成图像； 根据所述训练集数据中的真实图像和对应的生成图像， 通过预先设置的损失函数对所 述去遮罩人脸恢复模型进行训练， 得到训练好的去遮罩人脸恢复模型； 获取待处理的人脸遮罩图像， 将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢 复 模型， 得到去遮罩的恢复人脸图像。 2.根据权利要求1所述的方法， 其特征在于， 获取人脸图像的训练集数据， 对所述训练 集数据进行 预处理， 得到对应的人脸遮罩 集数据， 包括： 获取人脸图像的训练集数据； 所述训练集数据从公开数据集celeba 中随机采集； 对所述训练集数据中的每张人脸图像， 通过训练完成的dlib网络获取人脸68个特征 点， 确定方 形遮罩范围， 根据所述方 形遮罩范围得到人脸遮罩图像； 进一步得到人脸遮罩 集数据。 3.根据权利要求2所述的方法， 其特征在于， 所述动态选择卷积模块对应的数学表示 为： 其中， Output为动态选择卷积模块的输出， 表示卷积后的特征， σ( ·)表示 softmax函数 得到的权 重信息。 4.根据权利要求3所述的方法， 其特征在于， 所述空洞插值卷积模块用于通过填入噪声 对所述人脸遮罩 集数据中的人脸遮罩图像进行孔洞填补， 包括： 所述空洞插值卷积模块用于在变形卷积模块的基础上增加噪声填入模块， 将所述噪声 填入模块和所述变形卷积模块学习到的图像特征进行特征融合， 对所述人脸遮罩集数据中 的人脸遮罩图像进行孔洞填补。 5.根据权利要求 4所述的方法， 其特 征在于， 所述噪声填入 模块的处 理流程包括： 对所述人脸遮罩 集数据中的人脸遮罩图像按通道进行 标准化； 在标准化后的图像上叠加噪声； 对叠加噪声后的图像进行3 ×3卷积； 对卷积后的图像上 再次按通道进行 标准化， 得到所述噪声填入 模块的输出。权　利　要　求　书 1/2 页 2 CN 115223012 A 26.根据权利要求5所述的方法， 其特征在于， 通过预先设置的损失函数对所述去遮罩人 脸恢复模型进行训练， 包括： 通过预先设置的损失函数对所述去遮罩人脸恢 复模型进行训练； 所述去遮罩人脸恢 复 模型中生成器的损失函数包括L1损失函数、 Ltv损失函数和 Lcontent损失函数； 所述去遮罩人 脸恢复模型 所要优化的目标函数为 WGAN损失。 7.根据权利要求1至6任意一项所述的方法， 其特征在于， 所述训练集数据中的人脸图 像为正面人脸图像。 8.一种去遮罩人脸恢复的装置， 其特 征在于， 所述装置包括： 预处理模块， 用于获取人脸图像的训练集数据， 对所述训练集数据进行预处理， 得到对 应的人脸遮罩 集数据； 所述人脸遮罩 集数据中人脸图像面部及嘴部被方 形遮罩替代； 训练数据输入模块， 用于将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢 复模型中； 所述去遮罩人脸恢复模型包括第一通路、 第二通路、 特征融合模块和图像输出模 块； 所述第一通路包括空洞插值卷积模块， 多层动态选择卷积模块和多层空洞卷积模块； 所 述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络； 所述第二通路为U 型 卷积网络， 包括多层动态选择卷积模块和上下文注意力模块； 所述空洞插值卷积模块用于 通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进 行孔洞填补； 所述第一通路和所 述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征； 所述空洞 卷积 模块用于进行扩大感受野的特征提取； 所述上下文注意力模块用于借用有效空间像素进 行 孔洞填补； 所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合； 所述图像输出模块用于根据所述特 征融合模块的输出激活得到人脸的生成图像； 模型训练模块， 用于根据所述训练集数据中的真实图像和对应的生成图像， 通过预先 设置的损失函数对所述去遮罩人脸恢复模型进行训练， 得到训练好的去遮罩人脸恢复模 型； 模型应用模块， 用于获取待处理的人脸遮罩图像， 将所述人脸遮罩图像输入所述训练 好的去遮罩人脸恢复模型， 得到去遮罩的恢复人脸图像。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115223012 A 3