(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211167515.1 (22)申请日 2022.09.23 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 凌捷　陈小环　罗玉　陈家辉　 李斯　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) (54)发明名称 一种跨模态生成视频对抗样本的方法和系 统 (57)摘要 本发明公开了一种跨模态生成视频对抗样 本的方法和系统， 涉及深度学习的技术领域， 包 括： 获取干 净视频样本， 转换为一系 列图片帧； 对 每张图片帧进行特征提取， 获得对应的特征向 量； 根据特征向量， 在一系列图片帧中确定关键 帧； 对每张关键帧进行划分， 获得一系列图像块 图片， 并计算每张图像块图片 的梯度分数； 选择 梯度分数最大的图像块图片作为局部图片； 在局 部图片上添加扰动， 获得对抗帧， 并计算局部图 片与对抗帧的相似度； 更新扰动， 直到相似度取 得最小值， 将对应的对抗帧作为图片对抗样本； 利用图片 对抗样本替换对应的关键帧， 获得视频 对抗样本。 本发明生成视频对抗样 本的生成效率 高、 隐蔽性强， 提高对抗样本的交叉模态可转移 性。 权利要求书3页 说明书7页 附图2页 CN 115496966 A 2022.12.20 CN 115496966 A 1.一种跨模态生成视频对抗样本的方法， 其特 征在于， 包括： S1： 获取干净视频样本， 并将所述干净视频样本转换为 一系列图片帧； S2： 对每张图片帧进行 特征提取， 获得对应的特 征向量； S3： 根据特 征向量， 在一系列图片帧中确定关键帧； S4： 对每张关键帧进行划分， 获得一系列图像块图片， 并计算每张图像块图片的梯度分 数； 选择梯度分数最大的图像块图片作为局部图片； S5： 在局部图片上 添加扰动， 获得对抗帧， 并计算局部图片与对抗帧的相似度； S6： 更新扰动， 直到相似度取 得最小值， 将对应的对抗帧作为图片对抗样本； S7： 利用图片对抗样本替换对应的关键帧， 获得视频对抗样本 。 2.根据权利要求1所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S2 中， 对每张图片帧进 行特征提取前， 还需对彩色的图片帧进 行灰度化处理， 获得灰度化后的 图片帧。 3.根据权利要求2所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S2 中， 对每张图片帧进行 特征提取， 获得对应的特 征向量的具体方法为： 利用基于纹理的特征提取法， 将灰度化后的图片帧划分为N个灰度图像块， 对于每个灰 度图像块， 再划分为K*K个小灰度图像块， 计算每 个灰度图像块的均值和方差： 式中， μl表示第l个灰度图像块的均 值， 表示第l个灰度图像块的方差， l＝1,2, …,N； xl(u,v)表示第l个灰度图像块中第u行第v列的小灰度图像块的亮度值， u,v＝0,1, …,K‑1； 将每个灰度图像块的均值和标准差组合 起来， 获得图片帧的特 征向量： At＝[ μ1, σ1, μ2, σ2,…, μN, σN] 式中， At表示第t张图片帧的特征向量， t＝1,2, …,M,M表示图片帧的数量； σN表示第N个 灰度图像块的标准差 。 4.根据权利要求1所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S3 中， 根据特 征向量， 在一系列图片帧中确定关键帧的具体方法为： S3.1： 在一系列图片 帧中选择若干张图片 帧作为数据中心， 根据特征向量计算数据中 心与剩余各张图片帧的相似度， 根据相似度对图片帧进行分组； S3.2： 多次更新数据中心， 对图片帧进行分组， 直到分组不再变化， 获得最终分组， 将最 终分组中每组的数据中心对应的图片帧作为关键帧。 5.根据权利要求4所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S3.1 中， 在一系列图片帧中选择若干张图片帧作为数据中心， 根据特征向量计算数据中心与剩 余各张图片帧的相似度， 根据相似度对图片帧进行分组的具体方法为： 在一系列图片帧中选择m张图片帧作为数据中心， 根据特征向量计算数据中心与剩余 各张图片帧的相似度：权　利　要　求　书 1/3 页 2 CN 115496966 A 2式中， similarityj,k表示第j张图片帧和第k张图片帧 的相似度， Aj表示数据中心中的第 j张图片帧的特征向量， Ak表示剩余图片帧中的第k 张图片帧的特征向量； n表示特征向量的 维度， 表示数据中心中的第j张图片帧的特 征向量的第i维； 利用上述公式分别计算剩余各张图片帧相对于每张被选作数据中心的图片帧的相似 度， 将剩余各张图片帧划分到相似度数值最小的数据中心所在的分组中， 获得p个分组， p≤ m。 6.根据权利要求1所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S4 中， 对每张关键帧进 行划分， 获得一系列图像块图片， 并计算每张图像块图片的梯度分数的 具体方法为： 将关键帧记为U， 划分为a个图像块； 对每个图像块进行零填充， 使图像块的大小与关键 帧的大小一 致， 获得图像块图片： 式中， 表示第a张图像块图片， G(*)表示分割操作， P(*)表示 填充操作； 式中， scorea表示第a张图像块图片 的梯度分数， 表示第a张图像块图片的梯度， 表示分数计算操作。 7.根据权利要求6所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S5 中， 在局部图片上添加扰动， 获得对抗帧， 并计算局部图片与对抗帧的相似度 的具体方法 为： S5.1： 对局部图片进行 特征提取， 获得局部图片特 征向量； S5.2： 在局部图片上 添加扰动， 获得对抗帧及对抗特 征向量； S5.3： 根据局部图片特 征向量和对抗特 征向量， 计算局部图片与对抗帧的相似度。 8.根据权利要求7所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S5.3 中， 根据局部图片特征向量和对抗特征向量， 计算局部图片与对抗帧的相似度的具体方法 为： 式中， 表示第a个局部图片与对抗帧的相似度， xa表示第a个局部图片特征 向量， (xa+ ε )表示第a个对抗特 征向量， εa表示添加在第a个局部图片上的扰动。 9.根据权利要求8所述的跨模态生成视频对抗样本的方法， 其特征在于， 所述步骤S6 中， 利用Adam优化器更新扰动： 式中， 表示第(t+1)次迭代添加在第a个局部图片上的扰动， Adam表示Adam优化器，权　利　要　求　书 2/3 页 3 CN 115496966 A 3