(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210117527.7 (22)申请日 2022.02.08 (71)申请人 陕西师范大学 地址 710119 陕西省西安市西长安 街620号 (72)发明人 李宇苗　李鹏　 (74)专利代理 机构 上海申汇 专利代理有限公司 31001 专利代理师 翁若莹　柏子雵 (51)Int.Cl. G06T 3/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 自适应特征融合恢复及混合妆容迁移重组 方法 (57)摘要 本发明涉及一种自适应特征融合恢复及混 合妆容迁移重组方法， 本发明主要实现了基于自 适应特征融合模块的面部特征恢复技术、 根据求 解加权最小二乘WLS模型选择引导图像、 搭建特 征提取网络以及风格迁移网络进行卸妆操作、 结 合生成式对抗网络及变分自编码器网络各自优 势实现基于参考带妆图像的妆容迁移重组。 本发 明主要解决了由于姿态或光照不同、 背景及人物 姿势的差异性、 输入照片 的清晰度、 尺寸大小以 及自带妆容对妆容迁移重组效果产生的影响。 通 过结合生成式对抗网络和变分自编码器网络技 术进行妆容重组， 达 到较好的妆容迁移效果。 权利要求书4页 说明书11页 附图4页 CN 114820286 A 2022.07.29 CN 114820286 A 1.一种自适应特 征融合恢复及混合妆容迁移重组方法， 其特 征在于， 包括以下步骤： 步骤1、 获取输入图像， 输入图像中包括样本图像集 一张低清晰度的原始输入 图像Id， 其中， 表示第k张样本图像， K表示样本图像的总数； 步骤2、 从样本图像集 中获得与原始输入图像Id相似度最高的图像样本图像作 为引导图像； 步骤3、 将引导图像与原始输入图像Id输入多个级联的自适应特征融合模块， 由最后一 级自适应特征融合模块输出具有较高还原清晰度的图像 其中， 每一级的自适应特征融 合模块基于以下步骤实现： 步骤301、 得到原 始输入图像Id的特征Fd后进行降维处 理； 步骤302、 得到引导图像的特 征Fg,w,a后进行降维处 理； 步骤303、 通过提取二进制图像的特征得到标记点特征， 其中， 提取所有输入图像的M个 特征点后获得二进制图像； 步骤304、 对步骤3 03中所得特征进行降维处 理； 步骤305、 将步骤3 01、 步骤3 02以及步骤3 03所得到的维度一 致的特征进行连接； 步骤306、 将通过步骤305获得的经过连接的特征作为带偏置卷积网络层的输入， 在带 偏置卷积网络层中引入注意力机制， 利用引入注 意力机制的带偏置卷积网络层融合所输入 的特征； 步骤307： 将通过步骤3 02获得的引导图像的特 征Fg,w,a作为卷积层的输入； 步骤308： 将经过步骤307处理后的特征与通过步骤301获得的特征进行减法运算后， 送 入残差结构进行降维处 理； 步骤309： 将经过步骤308处理的特征与 通过步骤306所获得的特征进行乘法运算后， 再 次送入残差结构进行降维处 理； 步骤310： 将通过步骤3 01获得的原 始输入图像Id的特征作为卷积层的输入； 步骤311： 将经过步骤310处理后的特征与经过步骤309处理后的特征进行加法运算后 和通过步骤3 09得到的结果共同输入 包含残差块的重建子网处 理得到输出结果； 在最后一级自适应特征融合模块中， 通过包含残差块的重建子网得到最终的具有较 高 还原清晰度的图像 步骤4、 若图像 自带妆容， 则进入步骤5进行妆容迁移； 若图像 不带妆容， 则进入步 骤6； 步骤5、 将图像 输入IDNet特 征提取网络， 将IDNet特征提取网络的输出输入STNet风格 迁移网络， 由STNet风格迁移网络产生卸妆后的输出图像 步骤6、 利用风格迁移网络处理卸妆后的输出图像 或直接处理不带妆容的具有较高还 原清晰度的图像 将待风格迁移网络处理的图像进一步定义为素颜图像x∈[0,1]H×W×3； 将 步骤2获得的引导图像或者用户自定义的带妆容图像作为参考带妆图像y∈[0,1]H×W×3； 风 格迁移网络先采用GAN生成式对抗网络对输入的素颜图像x以及参考带妆图像y进行基于 DMT的插值妆容迁移， 通过控制权重大小α ∈[0,1]进 行插值妆容迁移， 达到调节妆容浓淡程 度的目的； 再利用V AE变分自编码器进行局部优化。权　利　要　求　书 1/4 页 2 CN 114820286 A 22.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法， 其特征在 于， 在所述步骤2之后， 并在所述步骤3 之前还包括： 利用MLS滑动最小二乘法和AdaIN模块在 特征空间中对引导图像进行空间对齐和照明转换。 3.如权利要求2所述的一种自适应特征融合恢复及混合妆容迁移重组方法， 其特征在 于， 利用MLS滑动最小二乘法及AdaI N模块对引导图像进行处 理包括以下步骤： 将选定的引导图像的特征和标记点分别表示为Fg、 Lg， 原始输入图像Id的特征和标记点 记作Fd、 Ld， 引入位置对 角矩阵 Wp， 对于Wp对 角线上第m个元素Wp(m ,m) 有 其 中 ， 表 示 原 始 输 入图 像的 第m 个 标 记 点 ； 根 据公 式 得到位置仿射矩阵Mp， 为Ld的齐次表示， 然后进行双线性插值 后得到引导图像根据输入图像的扭曲特 征， 记作Fg,w； 通过AdaIN模 块将经过MLS处理后的扭曲特征Fg,w转化为原始输入图像Id的风格， 即光照 效果， 合成具有原始输入图像Id风格的输出图像， 从而经过AdaIN模块处理后得到特征Fg,w,a 和原始输入图像Id的特征Fd在空间和风格上图像对齐。 4.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法， 其特征在 于， 所述步骤2包括以下步骤： 运用人脸特征点检测， 对于样本图像集中的每张样本图像以及原始 输入图像Id， 检测出 M个特征点； 分别计算输入原始输入图像Id与样本图像集 中各样本图像的对应特征点之间的 加权仿射距离之和： 设输入原始输入图像Id与样本图像 的所有M个特征点的加权 仿射距离 之和为 则有 式中， wm为原始输入图像Id与样本图像 中第m个特征点的 加权仿射距离， wm为赋予第m个特征点的权重， 根据图像间表情姿势差异， 给每个特征点赋 予不同的权 重； 列举所有样本图像， 在前向传播中得到M个特征点与原始 输入图像Id对应特征点间具有 最小仿射距离和的样本图像 引入辅助损失， 通过反向传播算法更新特征点权重值， 反复迭代后， 找出样本图像集 中最佳的样本图像作为引导图像。 5.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法， 其特征在 于， 将图像 定义为带妆容的输入图像yr， 则所述步骤5包括以下步骤： 步骤501、 将输入图像yr输入IDNet特征提取网络， IDNet特征提取网络利用编码瓶颈结 构区分输入图像yr中的妆容特 征和人脸特 征， 获得输入图像yr的视觉特征图Vr∈RC×H×W； 步骤502、 视觉特征图Vr在IDNet特征提取网络内经过1 ×1卷积层后 得到人脸特征信息 在IDNet特征提取网络内 不断沿着通道维度扩展重复从而产生特 征张量 步骤503、 将视觉特征图Vr以及特征张量 输入STNet风格 迁移网络；权　利　要　求　书 2/4 页 3 CN 114820286 A 3