(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210583999.1 (22)申请日 2022.05.27 (71)申请人 吉林大学 地址 130012 吉林省长 春市人民大街598 8 号 (72)发明人 宫洵　刘嘉威　姜中瑾　胡云峰　 陈虹　 (74)专利代理 机构 吉林长春新纪元专利代理有 限责任公司 2 2100 专利代理师 白冬冬 (51)Int.Cl. G06V 10/764(2022.01) G06T 7/70(2017.01) G06F 21/62(2013.01) G06F 21/57(2013.01)G06V 20/40(2022.01) G06V 10/774(2022.01) (54)发明名称 考虑数据隐私的视觉分类网络对抗补丁生 成方法 (57)摘要 一种考虑数据隐私的视觉分类网络对抗补 丁生成方法， 属于深度网络安全技术领域。 本发 明的目的是以典型视觉网络—分类网络为目标 攻击网络， 提出了一种考虑数据隐私的视觉分类 网络对抗补丁生成方法。 本发明的步骤是： 目标 攻击网络的选择， 可用数据集的采集， 基于APS指 标的代理数据集选择， DF ‑EoT算法的补丁生成。 本发明所采用的方法易于实现， 能够广泛应用于 隐私敏感应用中视觉网络的安全漏洞检测， 生成 对抗补丁可用于基于漏洞弥补的防御策略的开 发， 促进安全视 觉网络的发展。 权利要求书4页 说明书11页 附图11页 CN 114863184 A 2022.08.05 CN 114863184 A 1.一种考虑数据隐私的视 觉分类网络对抗补丁 生成方法， 其特 征在于： 其 步骤是： S1.目标攻击网络的选择： 选择需要 进行安全漏洞检测的视 觉网络作为目标攻击网络， 给定训练数据集 内的任一图片X∈[0,1]d及其实际类别的数字编码y∈{1,2,..., m}， 分类网络 根据下式对X分类： 其中 表网络 对输入图片X的估计类别； 表示m维向量 的第j个分 量， 代表 对X属于第j类的置信度； S2、 可用数据集 的采集： 采集公开视觉数据集作为一组可用数据集 以期从 中选出合 适的代理数据集 用于代替训练数据集 为对抗补丁 生成提供背景图片； S3、 基于AP S指标的代理数据集选择， 包括以下 过程： 根据下式进行代理数据集选择： 其中， 为所选代理数据集； 是本发明设计的代理数据集选择指标APS； 代表选择网络 为目标攻击网络时， 基于数据集 生成补丁的平均攻击性能； 分别计算可用数据集 ...的APS值， 并选择APS值 最大的数据集作为代理数据集 具体步骤如下： S3.1、 EoT算法的对抗补丁组生成 以均匀随机噪声初始化m个补丁{P1,P2,...,Pm}， 逐一将初始化补丁作为输入， 并利用 从 采样得到的图片， 生成对抗补丁 其中， 的目标类别{y'1, y'2,...,y'm}与目标攻击分类网络 的类别编码{1,2,. ..,m}一一对应相等； 对抗补丁P*的生成可转 化为 其中， 补丁P∈[0,1]n的维度n远小于 中图片 的维度d； y'为补丁的目标类别； Z 表示补丁在图像内所有 可能位置的集合， z为从Z中均匀随机采样得到的位置； R集合表 示物 理场景中可能存在于补丁上 的自然变换 的集合， r为从R中均匀随机采样得到的自然变换； 目标函数 的定义为： 表示网络预测扰动图像XP属于目标类别y'的负对数概 率值； 扰动图片XP∈[0,1]d为： 其中 为将补丁P粘贴在原始图片X上的粘贴操作 函数； 粘贴操作首先会利用自然变换权　利　要　求　书 1/4 页 2 CN 114863184 A 2r对补丁P进 行变换， 其中r ＝(r1,r2,...)， 补丁变换包括将补丁旋转 度、 放缩 倍 等； 接着， 粘贴操作会将变换补丁P'粘贴到图像X的位置z上， 其中z ＝(z1,z2)， 得到扰动图片 XP， 其中(z1,z2)为P'在图片X中位置的横纵坐标； 选择EoT算法对公式(3)对应的优化问题进行求解， EoT算法中 为投影算子， 可视为如下优化问题的求 解： EoT算法： 输入： 数据集 位置集合Z， 自然变换集合R， 目标类别y'， 扰动更新步长α， 粘贴操作函 数 目标函数 投影算子 总迭代次数T； 输出： 对抗补丁P* 1.利用范围为[0,1]的均匀随机噪声初始化补丁P0， t←0 2.for t＜T do 3. 4. 5. 6. 7.t←t+1 8.end for 9.P*←PT 10.return  C S3.2、 APS的获得 利用生成的对抗补丁组 依据下式计算数据集 的APS值： 其中， 为补丁攻击性能衡量指标 ‑‑‑‑‑‑‑Patch Saliency； 对抗补丁P*的PS值计算过程， 分为 三个步骤： a、 粘贴操作函数 会将补丁P*粘贴在黑色背景图片 的中心， 得到扰动图片 b、 积分梯度函数 会以扰动图片 和补丁的目标类别y'为 输入， 输出显著图 其中显著图 衡量 中每个像素对于y'的 重要性； c、 对抗补丁P*的PS值按下式得 出：权　利　要　求　书 2/4 页 3 CN 114863184 A 3