(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211153622.9 (22)申请日 2022.09.21 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 涂梅林　张光斌　姚灿荣　吴俊毅　 高志鹏　赵建强　杜新胜　金辉　 韩名羲　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于像素级注意力机制的深度伪造图像检 测方法和系统 (57)摘要 公开了基于像素级注意力机制的深度伪造 图像检测方法和系统， 包括在图像检测的主干网 络中的提取特征之后插入像素级注意力机制模 块， 利用一个1*1卷积对特征信息Fi进行通道压 缩， 压缩通道并将降维后的特征和原始图像相加 得到特征Fii； 将特征Fii再经过一个1*1卷积和 Sigmoid激活函数得到增 强后的特征信息； 将增 强后的特征信息作为下一特征提取阶段的输入， 重复进行前述步骤进行特征信息增强， 并利用标 签平滑正则化的交叉嫡损失函数进行约束。 本发 明提出的像素级注意力机制模块较为灵活， 可以 随意插入不同卷积层之后， 而且在推理过程中不 会增加太多参数量和运 算量。 权利要求书2页 说明书6页 附图2页 CN 115424036 A 2022.12.02 CN 115424036 A 1.基于像素级注意力机制的深度伪造图像 检测方法， 其特 征在于， 包括： S1： 在图像检测的主干网络中的提取特征之后插入像素级注意力机制模块， 利用一个 1*1卷积对特征信息Fi进行通道压缩， 压缩通道并将降维后的特征和原始图像相加得到特 征Fii； S2： 将所述特 征Fii再经过一个1*1卷积和Sigmo id激活函数 得到增强后的特 征信息； S3： 将所述增强后的特征信息作为下一特征提取阶段的输入， 重复进行前述步骤进行 特征信息增强， 并利用标签平 滑正则化的交叉嫡损失函数进行约束。 2.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法， 其特征在 于， 所述主干网络为ResNet5 0网络， 所述ResNet5 0网络包括四个提取 特征的阶段。 3.根据权利要求2所述的基于像素级注意力机制的深度伪造图像检测方法， 其特征在 于， 每个所述特征提取的方式为 Fi＝(Bi{xi|θi})， 其中， Bi代表主干网络Re sNet50第i个特征 提取过程， xi代表输入的人脸图像， θi代表第i个特 征提取过程涉及的参数。 4.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法， 其特征在 于， 所述S1中对所述特 征信息Fi进行通道压缩具体为从C个通道压缩至 3个通道。 5.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法， 其特征在 于， 所述S2中所述特征Fii再经过一个1*1卷积和 Sigmoid激活函数得到维度为H ×W×C的特 征， 经过Sigmoid逐个对像素进行激活， 形成了像素级的注意力掩膜。 6.根据权利要求1所述的基于像素级注意力机制的深度伪造图像检测方法， 其特征在 于 ， 所 述 标 签 平 滑 正 则 化 的 交 叉 嫡 损 失 函 数 具 体 为 ： 其中， ε∈[0,1]， K表示类别数， p(k)表示预测属 于类别k 的概率。 7.一种计算机可读存储介质， 其上存储有一或多个计算机程序， 其特征在于， 该一或多 个计算机程序被 计算机处 理器执行时实施权利要求1至 6任一项所述的方法。 8.基于像素级注意力机制的深度伪造图像 检测系统， 其特 征在于， 所述系统包括： 像素级注意力 机制模块插入单元， 配置用于在图像检测的主干网络 中的提取特征之后 插入像素级注意力机制模块， 利用一个1*1卷积对特征信息Fi进行通道压缩， 压缩通道并将 降维后的特 征和原始图像相加得到特 征Fii； 特征增强单元， 配置用于将所述特征Fii再经过一个 1*1卷积和Sigmoid激活函数得到增 强后的特 征信息； 约束单元： 配置用于将所述增强后的特征信息作为下一特征提取阶段的输入， 重复进 行前述步骤进行 特征信息增强， 并利用标签平 滑正则化的交叉嫡损失函数进行约束。 9.根据权利要求8所述的基于像素级注意力机制的深度伪造图像检测系统， 其特征在 于， 所述主干网络为ResNet50网络， 所述ResNet50网络包括四个提取特征的阶段， 每个所述 特征提取的方式为Fi＝(Bi{xi|θi})， 其中， Bi代表主干网络ResNet50第i个特征提取过程， xi 代表输入的人脸图像， θi代表第i个特 征提取过程涉及的参数。 10.根据权利要求8所述的基于像素级注意力 机制的深度伪造图像检测系统， 其特征在 于， 像素级注意力机制模块插入单元中对所述特征信息Fi进行通道压缩具体为从C个通道 压缩至3个通道。权　利　要　求　书 1/2 页 2 CN 115424036 A 211.根据权利要求8所述的基于像素级注意力 机制的深度伪造图像检测系统， 其特征在 于， 所述特征增强单元中所述特征Fii再经过一个1*1卷积和Sigmoid激活函数得到维度为H ×W×C的特征， 经过Sigmoid逐个对像素进行激活， 形成了像素级的注意力掩膜。 12.根据权利要求8所述的基于像素级注意力 机制的深度伪造图像检测系统， 其特征在 于 ， 所 述 标 签 平 滑 正 则 化 的 交 叉 嫡 损 失 函 数 具 体 为 ： 其中， ε∈[0,1]， K表示类别数， p(k)表示预测属 于类别k 的概率。权　利　要　求　书 2/2 页 3 CN 115424036 A 3