(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667958.2 (22)申请日 2021.12.3 0 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 凌捷　王卓　罗玉　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 禹小明 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种利用空间变换生成对抗样本的方法和 系统 (57)摘要 本发明公开了一种利用空间变换生成对抗 样本的方法和系统， 涉及机器学习的技术领域， 所述方法包括： 获得原始图像和其真实标签， 对 原始图像依次进行特征提取、 上采样、 点乘操作， 获得原始图像的多个部分区域图像； 对原始图像 和部分区域图像进行标签预测， 计算部分区域图 像对应的特征图的置信分数； 将 置信分数作为权 重与特征图进行线性加权求和， 计算最终得分； 根据最终得分最大的部分区域图像和原始图像 进行空间变换， 生成对抗样本； 根据原始图像的 真实标签和生成的对抗样本设置总损失函数， 对 空间变换的参数进行更新， 输出生成的所有对抗 样本。 本发 明利用一张原始图像生成大量高质量 的对抗样本， 计算 耗时短， 节约了 计算成本 。 权利要求书3页 说明书8页 附图2页 CN 114332623 A 2022.04.12 CN 114332623 A 1.一种利用空间变换生成对抗样本的方法， 其特 征在于， 包括： S1： 获得原 始图像和其真实标签； S2： 对原始图像进行 特征提取， 获得 特征图； S3： 对特征图的每 个通道进行 上采样， 获得多张掩 模图； S4： 利用多张掩码图分别点乘 原始图像， 获得原 始图像的多个部分区域图像； S5： 对原始图像和部分区域图像进行标签预测， 并根据预测标签计算部分区域图像对 应的特征图的置信分数； S6： 将置信分数作为权 重与特征图进行线性加权求和， 计算 最终得分； S7： 根据最终得分最大的部分区域图像和原 始图像进行空间变换， 生成对抗样本； S8： 根据原始图像的真实标签和生成的对抗样本设置总损失函数， 对空间变换的参数 进行更新， 输出生成的所有对抗样本 。 2.根据权利要求1所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S2 中， 利用预训练的卷积神经网络对原 始图像进行 特征提取。 3.根据权利要求2所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S3 中， 对特征图进行 上采样后， 还需对上采样结果进行归一 化处理， 获得多张掩 模图。 4.根据权利要求1所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S5 中， 利用深度神经网络对原 始图像和部分区域图像进行 标签预测。 5.根据权利要求4所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S5 中， 根据预测标签 计算部分区域图像对应的特 征图的置信分数的具体方法为： 式中， 表示 对应的部分区域图像的置信分数 表示深度神经网络中卷积层l对 应的激活层 A提取出的第k个通道特征图， F(*)表示标签 预测， X表示原始图像， 表示哈达玛 积， Up(*)上采样 操作， s(*)归一 化处理， 表示 对应的掩码图。 6.根据权利要求5所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S6 中， 将置信分数作为权 重与特征图进行线性加权求和， 计算 最终得分的具体方法为： 式中， 表示最终得分， ReLU(*)表示激活函数， 表示类别c第k个通道的权 重。 7.根据权利要求6所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S7 中， 根据最终得分最大 的部分区域图像和原始图像进行空间变换， 生成对抗样本的具体方 法为： 设置位移场 定义fi＝(Δui， Δvi)是位移场中的第i个像素点； 将最终得 分最大的部分区域图像记为(idxx， idxy)， 在(idxx， idxy)中应用该位移场； 定义对抗样本Xadv中的像素点位于对抗网格Gadv中， 表示对抗样本权　利　要　求　书 1/3 页 2 CN 114332623 A 2Xadv中第i个像素的坐标； 表示对抗样本Xadv中第i个像素的值； 同 理， 定义Xi＝X(ui， vi)是原始图像X表中第i个像素的值， 则对抗样 本Xadv中第i个像素的值的 计算公式为： 对于对抗样本Xadv扰动区域中的像素点， 存在限制： 式中， Hf表示位移场f的高度， Wf表示位移场f的宽度； 对原始图像中的扰动区域进行空间变换， fi＝(Δui， Δvi)； 对于原始图像中的非扰动 区域， 设定fi＝(Δui， Δvi)＝(0， 0)； 由于扰动区域的坐标无法确定为整数， 将对抗网格Gadv使用双线性内插值法计算出对 抗样本Xadv中第i个像素的值， 即： 式中， Gn∈N(Gi)表示对抗样本Xadv中第i个像素的四个相邻的像素点的索引； n＝{ 1， 2， 3， 4}， 即上左、 上右、 下左、 下右四个像素点的索引， (un， vn)表示四个相邻的像素点的坐标， xn表示与该对抗样本对应的原 始图像的像素点的值。 8.根据权利要求7所述的利用空间变换生成对抗样本的方法， 其特征在于， 所述步骤S8 中， 根据生成的对抗样本和原 始图像的真实标签设置总损失函数的具体方法为： 总损失函数包括对抗损失函数和流损失函数； 对抗损失函数用于最大化生成的对抗样本被误分类的可能， 分为目标攻击和非 目标攻 击； 对于目标攻击， 目标 标签定义 为t， 为确保攻击为t， 则对抗损失函数为： 式中， Xadv表示对抗样， K表示平衡系数； 对于非目标攻击， 仅需使目标 标签异于真实标签， 则对抗损失函数为： 式中， l表示真实标签； 流损失函数用于约束生成的对抗样本和原 始图像的差异， 即： 式中， fj表示位移场中的第j个像 素点， fn∈N(fj)表示fj的四个相邻像 素点， n＝{1， 2， 3， 4}， |*|2表示L2范数； 则总损失函数为： 式中， f*表示总损失函数， α 表示经验平衡参数。 9.根据权利要求8所述的利用空间变换生成对抗样本的方法， 其特征在于， 当总损失函 数f*取得最小值时， 对空间变换层参数 更新过程结束， 获得 所有对抗样本并输出。权　利　要　求　书 2/3 页 3 CN 114332623 A 3