(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210796847.X (22)申请日 2022.07.07 (65)同一申请的已公布的文献号 申请公布号 CN 114881838 A (43)申请公布日 2022.08.09 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 周文柏　张卫明　俞能海　刘泓谷　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06T 1/00(2006.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06Q 50/00(2012.01)(56)对比文件 CN 114630130 A,2022.06.14 US 202123 3204 A1,2021.07.2 9 CN 113313054 A,2021.08.27 CN 114093013 A,202 2.02.25 周文柏.智能环境下的人脸视频深度伪造与 防御技术. 《网信军民融合》 .2021, 周文柏.人脸视频深度伪造与防御技 术综 述. 《信号处 理》 .2021, 李旭嵘.深度伪造与检测技 术综述. 《软件学 报》 .2021, 李旭嵘等.一种基 于双流网络的De epfakes 检测技术. 《信息安全学报》 .2020,(第02期),全 文. 陈鹏等.融合全局时序和 局部空间特 征的伪 造人脸视频检测方法. 《信息安全学报》 .2020, (第02期),全 文. 暴雨轩等.深度伪造 视频检测技 术综述. 《计 算机科学》 .2020,(第09期),全 文. 审查员 李妮 (54)发明名称 针对深度伪造的双向人脸数据保护方法、 系 统及设备 (57)摘要 本发明公开了一种针对深度伪造的双向人 脸数据保护方法、 系统及设备， 根据人脸深度伪 造的目标不同， 可以将其分为人脸替换和人脸被 替换 （双向换脸） ， 通过对原始人脸数据进行水印 嵌入， 当嵌入水印的人脸图像被使用DeepFake换 脸技术进行双向换脸后， 可以根据换脸后人脸图 像的水印信息来判断是否为伪造人脸图像， 并且 可以更进一 步的进行溯源和完整性证明。 权利要求书3页 说明书11页 附图3页 CN 114881838 B 2022.10.28 CN 114881838 B 1.一种针对深度伪造的双向人脸数据保护方法， 其特 征在于， 包括： 针对受保护用户的原始人脸图像进行水印嵌入， 将 获得的嵌入水印的人脸图像向外发 布； 对待检测人脸图像进行水印提取； 对于与发布的嵌入水印的人脸图像具有相同人脸身 份信息的待检测人脸图像， 若无法提取出完整的水印， 则表明当前待检测人脸图像为通过 深度伪造技术， 使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像； 对于除 去与发布的嵌入水印的人脸图像具有相同人脸身份信息之外的待检测图像， 若提取出完整 的水印， 则通过水印包含的身份信息判断是否与待检测人脸图像的身份信息一致， 当身份 信息不一致时， 表明待检测人脸图像为通过深度伪造技术， 使用其他人脸图像替换嵌入水 印的人脸图像生成的人脸被替换图像， 同时， 通过水印包含的身份信息追溯受保护用户的 原始人脸图像； 其中， 预先构建包含水印嵌入网络、 人脸伪造模块以及水印提取模块的双 向人脸数据 保护框架； 所述双向人脸数据保护框架需要预先进行训练， 训练时输入至双向人脸数据保 护框架的训练图像称为原始人脸图像， 训练的损失包括： 水印嵌入损失和水印提取损失； 其 中， 所述水印嵌入损失包括： 水印嵌入 前后图像像素级别和图像特征层面的损失， 以及通过 嵌入水印的人脸图像生成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪 造的双向人脸数据之间的损失； 所述深度伪造的双向人脸数据包括人脸替换图像与人脸被 替换图像； 所述水印提取损失包括： 针对人脸替换图像的水印提取损失以及针对人脸被替 换图像的水印提取损失。 2.根据权利要求1所述一种针对深度伪 造的双向人脸数据保护方法， 其特征在于， 水印 嵌入与水印提取分别通过 水印嵌入网络与水印提取模块实现； 所述水印嵌入网络， 用于将不可 见的水印嵌入至受保护用户的原 始人脸图像中； 所述水印提取模块， 用于从深度伪造的双 向人脸数据中进行水印提取； 所述深度伪造 的双向人脸数据包括所述人脸 替换图像与人脸被替换图像。 3.根据权利要求1或2所述一种针对深度伪造的双 向人脸数据保护方法， 其特征在于， 所述水印嵌入网络基于深度神经网络实现， 用于将不可见的水印嵌入至受保护用户的原始 人脸图像中； 所述人脸伪造模块包括两个类型的人脸伪造模型； 每一类型的人脸伪造模型， 用于模 拟真实黑盒场景中的深度伪造技 术， 生成人脸 替换图像或者人脸被替换图像； 水印提取模块包含两个水印提取网络， 每一水印提取网络对应一种类型的人脸伪 造模 型； 每一水印提取网络， 用于从相应的人脸 替换图像或者人脸被替换图像中进行 水印提取。 4.根据权利要求1所述一种针对深度伪 造的双向人脸数据保护方法， 其特征在于， 所述 水印嵌入损失表示 为： 其中， 与 均为权值系数； 表示水印嵌入损失， Iorg表示原始 人脸图像， 表示水印， E表示水印嵌入网络； 表示水印嵌入前后图像像素级别的损 失， 表示水印嵌入前后图像 特征层面的损失； 表示通过 嵌入水印的人脸图像生权　利　要　求　书 1/3 页 2 CN 114881838 B 2成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪造的双向人脸数据之间 的损失， 表示 为： 其中， 表示通过原始人脸图像 Iorg生成的深度伪造的双向人脸数据， 表示通过嵌入水印的人脸图像 生成的深度伪造的双向人 脸数据， 包括 与 两部分， 表示生成的人脸替换图像， 表示生成的人脸被替换图像。 5.根据权利要求1所述一种针对深度伪 造的双向人脸数据保护方法， 其特征在于， 所述 针对人脸 替换图像的水印提取损失表示 为： 其中， 表示针对人脸替换图像的水印提取损失， 其应用于人脸替换检测场景； 表示第一损失， 用于确保嵌入 水印的人脸图像能够成功提取出水印； 表示第 二损失， 用于确保人脸 替换图像无法提取 出水印。 6.根据权利要求1所述一种针对深度伪 造的双向人脸数据保护方法， 其特征在于， 所述 针对人脸被替换图像的水印提取损失表示 为： 其中， 表示针对人脸被替换图像的水印提取损失， 其应用于人脸被替换取证场 景； 为权值系数； 表示第三损失， 用于确保从原始人脸图像中无法提取出水印； 表示第四损失， 用于确保从人脸被替换图像能够提取 出水印。 7.一种针对深度伪 造的双向人脸数据保护系统， 其特征在于， 基于权利要求1~6任一项 所述的方法实现， 该系统包括： 水印嵌入网络， 用于针对受保护用户的原始人脸图像进行水印嵌入， 将获得的嵌入水 印的人脸图像向外发布； 水印提取及伪造 图像检测模块， 用于对待检测人脸图像进行水印提取； 对于与发布的 嵌入水印的人脸图像具有相同人脸身份信息的待检测人脸图像， 若无法提取出完整的水 印， 则表明当前待检测人脸图像为通过深度伪造技术， 使用嵌入水印的人脸图像替换其他 人脸图像生成的人脸替换图像； 对于除去与发布的嵌入水印的人脸图像具有相同人脸身份 信息之外的待检测图像， 若提取出完整的水印， 则通过水印包含的身份信息判断是否与待 检测人脸图像的身份信息一致， 当身份信息不一致时， 表明待检测人脸图像为通过深度伪 造技术， 使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像， 同时， 通过水 印包含的身份信息追溯受保护用户的原 始人脸图像。权　利　要　求　书 2/3 页 3 CN 114881838 B 3