(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211175491.4 (22)申请日 2022.09.26 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈晋音　金海波　陈若曦　郑海斌　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于逆注意力支配的伪装防御数据生 成方法 (57)摘要 本发明公开了一种基于逆注意力支配的伪 装防御数据生成方法， 包括： 选取原始图像数据 集与其对应的深度学习模型； 对原始图像数据集 进行预处理， 并训练深度学习模型； 构建注意力 机制得到注意图， 对注意图进行离散化操作， 以 分散逆注 意力区域， 得到逆注 意力区域分散损失 Ld； 通过设置目标区域抑制损失、 置信度分数抑 制损失和目标类损失函数构 建防御目标损失Ln； 构建局部扰动优化损失Le和像素平滑损失Ls； 基 于逆注意力区域分散损失Ld、 防御目标损失Ln、 局部扰动优化损失Le和像素平滑损失Ls修改深 度学习模型的输入数据， 生成伪装防御数据。 本 发明具有良好的迁移性和人语义可理解性， 能够 有效生成伪装防御图像， 保障本地集群 设备绕过 深度学习模型侦察、 识别。 权利要求书3页 说明书7页 附图1页 CN 115496985 A 2022.12.20 CN 115496985 A 1.一种基于逆注意力支配的伪装防御数据生成方法， 其特征在于， 所述方法包括以下 步骤： S1、 选取原 始图像数据集与其对应的深度学习模型； S2、 对原始图像数据集进行 预处理， 并训练深度学习模型； S3、 构建注意力机制得到注意 图， 对注意图进行离散化操作， 以分散逆注意力区域， 得 到逆注意力区域分散损失Ld； S4、 通过设置目标区域抑制损失、 置信度分数抑制损失和目标类损失函数构建防御目 标损失Ln； S5、 构建局部扰动优化损失Le和像素平 滑损失Ls， 公式如下： 其中， β·E+1是权重张量， 1是张量， Tdef是防御纹 理张量， T0是种子像素补丁； 其中 是待防御的输入数据Idef在坐标(i,j)处的像素值； S6、 基于逆注意力区域分散损失Ld、 防御目标损失Ln、 局部扰动优化损失Le和像素平滑 损失Ls修改深度学习模型的输入数据， 生成伪装防御数据。 2.根据权利要求1所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 所 述步骤S1中原始图像数据集包括MS  COCO数据集、 PascalVOC数据集或ImageNet数据集； 原 始图像数据集与其对应的深度学习模型具体为： 每一原始图像数据集需选取其对应的深度 学习， 其中， MS  COCO数据集采用Faster  R‑CNN深度学习模型、 Pascal  VOC数据集采用 YOLOv3深度学习模型、 YOLOv5数据集采用YOLOv5深度学习模型。 3.根据权利要求1所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 所 述步骤S2中对原始图像数据集进行预 处理包括： 将原始图像数据集按 预设比例划分为训练 集和测试集， 通过one ‑hot编码将原始图像数据集中每个样本的标签转化为一维向量其格 式； 训练深度学习模型包括： 采用小批量梯度下降的训练方法对深度学习模型进行训练， 使得三元组损失最小来对深度学习模型权重θ进行更新， 直至深度学习模型 的平均精确度 达到预设的精度阈值， 完成对深度学习模型的训练。 4.根据权利要求3所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 所 述步骤S3中注意力机制的过程包括： 将测试集输入到步骤S2训练好的深度学习模型中， 以 得到注意力机制模块A， 可以表示 为： 其中， 是真实标签y的梯度权重， k是激活特征 图， py是真实标签y的置信度分数， 是第k个激活特 征图中位置(i,j)的像素值， relu( ·)表示激活函数。 5.根据权利要求4所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 所 述步骤S3包括：权　利　要　求　书 1/3 页 2 CN 115496985 A 2对于一个对象(M,T)， 一个待优化的伪装防御纹理张量Tdef， 以及一个特定的真实标签 y， 通过真实标签y得到Idef， 然后使用注意机制模块A计算注意图Sy， 如下所示： Sy＝A(Idef,y) 逆注意力区域分散损失Ld的公式定义如下： 其中， K是连通图的总数， Gk是与Sy中第k个连通图对应的区域中的像素值之和， N是Sy的 总像素数， Nk是Gk的总像素 数。 6.根据权利要求3所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 所 述步骤S4具体为： 目标区域抑制 损失的公式如下： 其中， S表示网格尺寸； B表示边界框信息； x， y， w， h表示图像中真实边界框的长度、 宽 度， 位置宽度、 位置高度； 表示模型预测边界框的长度、 宽度， 位置宽度、 位置 高度； 置信度分数抑制 损失的公式如下： 其中， ci表示经过one ‑hot编码后的真实置信度分数； 表示经过深度学习模型预测的 置信度分数； 目标类损失的公式如下： 基于上述的三个损失， 防御目标损失Ln定义为： 其中， λα， λβ， λγ为平衡参数。 7.根据权利要求6所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 平 衡参数 λα， λβ， λγ的值域范围为[0,1]， 且 λα+λβ+λγ＝1。 8.根据权利要求1所述的基于逆注意力支配的伪装防御 数据生成方法， 其特征在于， 所 述步骤S6具体为： 通过联合优化深度学习模型注意力分散损失Ld、 防御目标损失Ln、 局部扰动优化损失Le 和像素平 滑损失Ls来生成伪装防御数据， 优化目标定义 为： minLd+Ln+ ηLe+Ls 其中， η用于平衡局部扰动优化损失Le的比重； 采用梯度下降优化上述损失函数， 公式如下：权　利　要　求　书 2/3 页 3 CN 115496985 A 3