(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210867096.6 (22)申请日 2022.07.22 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 (72)发明人 卢涛　张显鸿　程芳芳　张彦铎　 方稳华　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 陈晓斌 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人脸图像超分辨率重建方法、 系统、 设 备及介质 (57)摘要 本发明公开了一种人脸图像超分辨率重建 方法、 系统、 设备及介质， 涉及计算机视觉技术领 域， 该方法基于目标人脸图像超分辨率重建模型 实现图像重建， 该方法步骤包括： 对待重建的低 分辨率人脸图像进行浅层特征提取， 得到第一浅 层特征图像； 对第一浅层特征图像进行深层特征 提取， 得到第一深层特征图像； 根据第一浅层特 征图像和第一深层特征图像， 确定目标重建图 像。 本方法解决了通过现有的基于局部图像块和 全局人脸统计的人脸图像超分辨率重建方法实 现人脸图像超分辨率重建时全局结构不一致、 局 部细节丢失， 导致重建效果不佳， 以及现有的基 于结构先验的人脸图像超分辨率重建方法实现 人脸图像超分辨率重建存在生成的超分辨率人 脸图像失真的问题。 权利要求书7页 说明书19页 附图4页 CN 115393186 A 2022.11.25 CN 115393186 A 1.一种人脸图像超分辨率重建方法， 其特征在于， 包括目标人脸图像超分辨率重建模 型， 所述目标人脸图像超分辨率重 建模型包括依次连接的第一浅层特征提取器和 第一深层 特征提取器； 所述方法包括以下步骤： 步骤S1： 获取待重建的低分辨率人脸图像， 将所述低分辨率人脸图像输入所述目标人 脸图像超分辨 率重建模型中； 步骤S2： 通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取， 得到第一浅层特 征图像； 步骤S3： 通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取， 得到第一深层特 征图像； 步骤S4： 根据所述第一浅层特征图像和所述第一深层特征图像， 确定所述待重建的低 分辨率人脸图像对应的目标重建图像。 2.根据权利要求1所述的方法， 其特征在于， 所述目标人脸图像超分辨率重建模型是基 于预先构建好的初始人脸图像超分辨率重 建网络训练得到的， 所述目标人脸图像超分辨率 重建模型的训练过程包括： 步骤A1： 获取多个原始高分辨率人脸图像， 多个所述原始高分辨率人脸图像组成训练 集； 步骤A2： 随机初始化所述初始人脸图像超分辨率重建网络的模型参数， 对所述训练集 中包含的各个原 始高分辨 率人脸图像进行编号； 步骤A3： 将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络 中， 通过所述初始人脸图像超分辨率重 建网络对各个所述原始高分辨率人脸图像进行图像 重建， 得到各个所述原始高分辨率人脸图像对应的第一 目标重建图像， 根据各个所述原始 高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重 建图像， 计算第 一损失函数值； 步骤A4： 根据所述第一损失函数值， 通过反向传播算法对所述初始人脸图像超分辨率 重建网络的模型参数进行优化， 得到优化后的人脸超分辨 率重建模型； 步骤A5： 将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络 中， 通过所述初始人脸图像超分辨率重建网络加载所述优化后的人脸超分辨率重建模型， 得到人脸图像超分辨率重建 网络， 通过所述人脸图像超分辨率重建 网络对各个所述原始高 分辨率人脸图像进行图像重 建， 得到各个所述原始高分辨率人脸图像对应的第二目标重建 图像， 根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第 二目标重建图像， 计算第二损失函数值； 步骤A6： 根据所述第二损失函数值， 通过反向传播算法对所述人脸图像超分辨率重建 网络的模型参数进行优化， 得到优化后的人脸超分辨 率重建模型； 步骤A7： 若所述第二损失函数收敛， 将所述第二损失函数收敛时的优化后的人脸超分 辨率重建模型确定为最佳人脸超分辨率重 建模型， 通过所述初始人脸图像超分辨率重 建网 络加载所述最佳人脸超分辨率重建模型， 得到目标人脸图像超分辨率重建模型， 若所述第 二损失函数不收敛， 重复步骤A5 至步骤A6， 直至所述第二损失函数值收敛。 3.根据权利要求1所述的方法， 其特征在于， 所述第 一深层特征提取器包括依次连接的 多个传输连接块； 所述 步骤S3具体包括：权　利　要　求　书 1/7 页 2 CN 115393186 A 2对于所述第 一深层特征提取器中的每个所述传输连接块， 所述传输连接块对输入所述 传输连接块的图像进行深层特征提取， 得到所述传输连接块对应的一级融合特征图像， 每 相邻的两个所述传输连接块中， 位置在前的传输连接块对应的一级融合特征图像作为位置 在后的传输连接块的输入； 对所述第一深层特征提取器中最后一个所述传输连接块对应的一级融合特征图像进 行卷积处理， 得到所述第一深层特 征图像； 每个所述传输连接块包括全局特征提取器、 局部特征提取器和聚合模块， 所述全局特 征提取器与所述局部特征提取器并行连接后连接所述聚合模块， 所述全局特征提取器用于 提取图像的全局特征信息， 所述局部特征提取器用于提取图像的局部特征信息， 所述聚合 模块用于对图像的全局特 征信息和 局部特征信息进行融合； 所述对于所述第 一深层特征提取器中的每个所述传输连接块， 所述传输连接块对输入 所述传输连接块的图像进行深层特征提取， 得到所述传输连接块对应的一级融合特征图 像， 具体包括： 对于输入所述传输连接块的图像， 通过所述全局特征提取器对所述图像进行全局特征 提取， 得到所述图像对应的第一全局特 征图像； 对于输入所述传输连接块的图像， 通过所述局部特征提取器对所述图像进行局部特征 提取， 得到所述图像对应的第一局部特 征图像； 对于输入所述传输连接块的图像， 通过所述 聚合模块调整所述图像对应的第 一全局特 征图像的通道维度， 得到所述图像对应的第三全局特 征图像； 对于输入所述传输连接块的图像， 通过所述 聚合模块调整所述图像对应的第 一局部特 征图像的平面维度， 得到所述图像对应的第三局部特 征图像； 对于输入所述传输连接块的图像， 将所述图像对应的第 三全局特征图像和第 三局部特 征图像沿通道维度进行拼接， 得到所述图像对应的第一融合特 征图像； 对于输入所述传输连接块的图像， 根据所述第 一融合特征图像中的全局特征和局部表 征， 得到所述传输连接块对应的一级融合特 征图像； 所述全局特征提取器包括多个结构相同的Transformer模块， 各个所述Transformer模 块依次连接， 每 个所述Transformer模块包括空间卷积自注意力层和全连接前馈层； 所述对于输入所述传输连接块的图像， 通过所述全局特征提取器对所述图像进行全局 特征提取， 得到所述图像对应的第一全局特 征图像， 具体包括： 对于每个所述Transformer模块， 所述Transformer模块对输入所述Transformer模块 的图像进行分块处 理， 得到多个图像块； 对于每个所述Transformer模块， 通过所述空间卷积自注意力层获取每个所述图像块 的空间信息， 得到所述Transformer模块对应的第一特 征图； 对于每个所述Transformer模块， 通过所述全连接前馈层对每个所述图像块进行非线 性转换， 得到所述Transformer模块对应的第二特 征图； 对于每个所述Transformer模块， 将所述Transformer模块对应的第一特征图和所述第 二特征图进 行逐元素相加， 得到所述Transformer模块对应的第三特征图， 每相 邻的两个所 述Transformer模块中， 位置在前的所述Transformer模块对应的第三特征图作为位置在后 的所述Transformer模块的输入；权　利　要　求　书 2/7 页 3 CN 115393186 A 3