(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677884.0 (22)申请日 2021.12.31 (71)申请人 北京新氧科技有限公司 地址 100102 北京市朝阳区创远路34 号院8 号楼9层901室、 10层10 01室 (72)发明人 张译友　杨浩杰　张梦洁　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 付婧 (51)Int.Cl. G06T 7/00(2017.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种皮肤识别方法、 装置、 电子设备及存储 介质 (57)摘要 本发明公开了一种皮肤识别方法、 装置、 电 子设备及存储介质， 方法包括： 将获取的人脸皮 肤图像输入已训练的皮肤检测模 型， 由皮肤检测 模型对人脸 皮肤图像进行多阶段特征提取， 根据 提取到的特征金字塔识别人脸皮肤图像包含的 皮肤瑕疵 位置和瑕疵类别； 将皮肤瑕疵位置和瑕 疵类别显示在人脸皮肤图像。 通过线上方式利用 人脸皮肤图像和皮肤检测模型识别皮肤上的瑕 疵， 无需专业的皮肤分析设备、 也无需专业人员 介入， 从而降低了线下皮肤分析成本。 并且通过 将识别到的瑕疵位置和类别显示在人脸皮肤图 像上， 便于用户直观了解到皮肤状况， 便捷性高。 此外， 本发 明采用的皮肤检测模 型能够输出具体 的瑕疵类别和瑕疵位置， 因此有利于精确检测面 积比较小的皮肤瑕疵。 权利要求书2页 说明书8页 附图3页 CN 114445351 A 2022.05.06 CN 114445351 A 1.一种皮肤识别方法， 其特 征在于， 所述方法包括： 获取人脸皮肤图像； 将所述人脸皮肤图像输入已训练的皮肤检测模型， 以由所述皮肤检测模型对所述人脸 皮肤图像进行多阶段特征提取， 并根据提取到的特征金字塔识别人脸皮肤图像包含的皮肤 瑕疵位置和瑕疵类别； 将所述皮肤瑕疵位置和瑕疵类别显示在所述人脸皮肤图像上。 2.根据权利要求1所述的方法， 其特征在于， 所述皮肤检测模型包括特征提取网络、 候 选框生成网络和语义分割网络； 由所述皮肤检测模型对所述人脸皮肤图像进行多阶段特征提取， 并根据提取到的特征 金字塔识别人脸皮肤图像包 含的皮肤瑕疵位置和瑕疵类别， 包括： 通过所述特征提取网络对所述人脸皮肤图像进行多阶段特征提取， 以得到特征金字 塔； 通过所述候选框生成网络基于所述特 征金字塔生成瑕疵候选 框位置； 通过所述语义分割网络基于所述特征金字塔和所述瑕疵候选框位置对所述人脸皮肤 图像进行语义分割并输出皮肤瑕疵位置和瑕疵类别。 3.根据权利要求2所述的方法， 其特征在于， 通过所述特征提取网络对所述人脸皮肤图 像进行多阶段 特征提取， 以得到特 征金字塔， 包括： 通过所述特征提取网络对所述人脸皮肤图像进行至少三个阶段的特征提取， 以得到特 征金字塔。 4.根据权利要求3所述的方法， 其特征在于， 所述特征提取网络包括第一阶段提取网 络、 第二阶段提取网络、 以及第三阶段提取网络； 通过所述特征提取网络对所述人脸皮肤图像进行至少三个阶段的特征提取， 以得到特 征金字塔， 包括： 通过所述第 一阶段提取网络对所述人脸皮肤图像进行多级下采样， 并从第 二级下采样 开始， 利用每级下采样的结果与上一级下采样的结果进行融合， 得到每级的第一输出特征 图； 通过所述第二阶段提取网络根据所述第一阶段提取网络输出的多级第一输出特征图 对所述人脸皮肤图像进行多级下采样， 并从第二级下采样开始， 利用每级下采样的结果与 上一级下采样的结果进行融合， 得到每级的第二输出 特征图； 通过所述第三阶段提取网络根据所述第二阶段提取网络输出的多级第二输出特征图 对所述人脸皮肤图像进行多级下采样， 并从第二级下采样开始， 利用每级下采样的结果与 上一级下采样的结果进行融合， 得到每级的第三输出特征图， 并由每级的第三输出特征图 构成特征金字塔。 5.根据权利要求2所述的方法， 其特征在于， 所述语义分割网络包括分类网络和回归 网 络； 通过所述语义分割网络基于所述特征金字塔和所述瑕疵候选框位置对所述人脸皮肤 图像进行语义分割并输出皮肤瑕疵位置和瑕疵类别， 包括： 通过所述分类网络基于所述特征金字塔和所述瑕疵候选框位置获得所述人脸皮肤图 像中每个像素的瑕疵类别并输出；权　利　要　求　书 1/2 页 2 CN 114445351 A 2通过所述 回归网络基于所述特征金字塔和所述瑕疵候选框位置进行回归分析， 以得到 实际瑕疵区域框作为皮肤瑕疵位置 输出。 6.根据权利要求2所述的方法， 其特征在于， 通过所述候选框生成网络基于所述特征金 字塔生成瑕疵候选 框位置， 包括： 通过所述候选框生成网络中的上采样层对所述特征金字塔中尺寸最小的特征图进行 上采样， 得到上采样后的特 征图； 通过所述候选框生成网络中的候选框生成网络基于所述特征金字塔和上采样后的特 征图区分所述人脸皮肤图像的背景和瑕疵， 以得到 瑕疵候选 框位置。 7.根据权利要求1所述的方法， 其特 征在于， 所述获取 人脸皮肤图像， 包括： 接收用户上传的用户图像； 检测所述用户图像中的人脸区域； 从所述用户图像中抠取 所述人脸区域作为人脸皮肤图像。 8.根据权利要求1所述的方法， 其特征在于， 所述方法还包括所述皮肤检测模型的训练 过程： 获取包含人脸皮肤的样本图， 所述样本图中标注有瑕疵区域和瑕疵类别； 利用所述样本图对预 先构建的皮肤检测模型进行训练， 直至所述皮肤检测模型收敛。 9.一种皮肤识别装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取 人脸皮肤图像； 识别模块， 用于将所述人脸皮肤图像输入已训练的皮肤检测模型， 以由所述皮肤检测 模型对所述人脸皮肤图像进行多阶段特征提取， 并根据提取到的特征金字塔识别人脸皮肤 图像包含的皮肤瑕疵位置和瑕疵类别； 显示模块， 用于将所述皮肤瑕疵位置和瑕疵类别显示在所述人脸皮肤图像上。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑8任一项所述方法的步 骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理 器执行时实现如权利要求1 ‑8任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114445351 A 3