(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655287.8 (22)申请日 2021.12.31 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 张世辉　左东旭　杨永亮　张晓微　 王磊　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 代理人 张建 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 基于信念攻击和显著区域扰动限制的对抗 样本生成方法 (57)摘要 本发明提供了一种基于信念攻击和显著区 域扰动限制的对抗样本生 成方法， 涉及深度神经 网络技术领域和计算机视觉领域， 本发明包含以 下步骤： 提供原始图像和白盒目标模型， 使用包 含原始图像的数据集作为数据集， 利用类激活映 射技术生成关于原始 图像的显著区域二进制掩 码， 利用基于信念的攻击方法融合迭代的快速梯 度方法生 成全局对抗扰动； 将生成的全局对抗扰 动和显著区域二进制掩码融合生成显著区域对 抗扰动； 将显著区域对抗扰动添加到输入图像， 并迭代地进行更新直到达到预设的终止条件， 输 出最后的一次迭代的图像对抗样本作为生成的 对抗样本。 该发明生成的对抗样本具备低扰动、 高迁移性。 权利要求书2页 说明书6页 附图1页 CN 114399630 A 2022.04.26 CN 114399630 A 1.基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其特征在于， 包括如下步 骤： 步骤S1： 提供原 始图像， 将其中原 始图像作为DN N模型的训练数据； 步骤S2： 提供白盒目标模型， 使用包含原始图像的数据集作为训练数据集， 利用类激活 映射技术生成关于原始图像的显著区域二进制掩码,利用基于信念的攻击方法融合I ‑FGSM 对抗样本生成方法生成全局对抗扰动； 步骤S3： 将生成的全局对抗扰动和显著区域二进制掩码进行哈达玛积运算， 生成显著 区域对抗扰动； 步骤S4： 将显著区域对抗扰动添加到 输入图像， 步骤S5： 重复步骤S2 ‑S4迭代生成图像对抗样本， 并裁剪溢出的像素值， 直到达到预设 终止条件， 最后一次迭代生成的对抗样本作为输出的对抗样本 。 2.根据权利要求1所述的基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其 特征在于： 在所述步骤1中， 所述原始图像来自ImageNet  Validation数据集， 原始图像包括 1000张不同类别的图片。 3.根据权利要求1所述的基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其 特征在于： 在所述步骤2中， 白盒模型采用Inception ‑v3、 Inception ‑v4、 Inception ‑ Resnet‑v2、 Resnet ‑v2‑101中的一种。 4.根据权利要求1所述的基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其 特征在于： 在所述步骤2 中， 所述类激活映射技术基于Gr ad‑CAM方法， 通过计算白盒目标模 型关于输入图像的神经元重要性权重并将其与激活特征图加权融合来获得类激活映射图， 接着生成相应的显著区域 二进制掩码； 获得显著区域 二进制掩码的过程具体表示 为： 其中， 为第k张特征图关于 类别c的神经元重要权重， yc为类c在softmax层之前的分数 对应的梯度， 表示第k张特征图在位置(i,j)上的像素值， Z为输入图像的像素数量， H (·)为显著区域选择函数， Sf(r， x， y)为标签为y的输入图像x在分类器f上选择比例为r的 像素区域作为显著二进制掩码； 其中， 比例r的范围为[0.1,1]， 表示比例为r的最显著的区 域被选取。 5.根据权利要求1所述的基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其 特征在于： 在所述步骤2中， 所述基于信念的攻击方法思想包括： 利用观测梯度计算其指数 移动平均， 利用如下公式计算观测梯度： 其中， J为分类 器的损失函数， | |·||1为L1范数；权　利　要　求　书 1/2 页 2 CN 114399630 A 2基于观测梯度计算观测梯度和观测梯度平方的E MA， 利用如下公式计算： mt＝β1mt‑1+(1‑β1)gt st＝β2st‑1+(1‑β2)(gt‑mt)2 其中， mt为第t次迭代观测梯度gt的EMA， st为观测梯度平方的EMA， β1＝0.99和β2＝0.999 为平滑参数； 基于观测梯度和观测梯度平方的E MA， 利用如下公式计算对抗扰动： 其中， δ ＝1e ‑8； 将对抗扰动进行包括偏差矫正和正则化以及缩放操作获得全局对抗扰动， 通过如下公 式进行计算： 其中， α为初始步长， ε为扰动量， N为输入图像像素数， T为总迭代次数， λt为偏差矫正， 为第t次迭代的全局对抗扰动， η为扰动控制因子； 扰动量ε＝16， 表示生成的对抗扰动 范围为[‑16,16]。 6.根据权利要求1所述的基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其 特征在于： 在所述 步骤3中， 显著区域对抗扰动计算公式如下： 其中， 为哈达玛积操作， 即执 行矩阵按位乘操作。 7.根据权利要求1所述的基于信念攻击和显著区域扰动限制的对抗样本生成方法， 其 特征在于： 在所述步骤5中， 添加扰动到输入图像操作并进 行溢出像素值裁剪的计算 公式如 下： 其中， Clip(·)将扰动量限制在扰动 ε范围内； 预设终止条件 包括： 达到预设的迭代次数T＝10 。权　利　要　求　书 2/2 页 3 CN 114399630 A 3