(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210053680.8 (22)申请日 2022.01.18 (71)申请人 三峡大学 地址 443002 湖北省宜昌市西陵区大 学路8 号 (72)发明人 刘军清　韩志奇　李菁　康维　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 代理人 程小芳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制的拼接图像篡改检测 方法及系统 (57)摘要 本发明公开了一种基于注意力机制的拼接 图像篡改检测方法及系统， 包括： 将拼接篡改数 据集输入图像篡改检测模型； 对篡改拼接图像提 取篡改特征， 获得特征图； 基于带有注意力机制 的特征融合网络对特征图进行特征提取， 获得最 终特征图， 基于最终特征图获得拼接图像篡改检 测结果。 本发明在YOL Ov4网络的末端添加注意力 机制， 以增强对图像中篡改特征的提取能力。 将 损失函数中的置信 度损失替换为Focal  loss， 通 过减少简单样本的权重， 使模型在进行篡改检测 任务训练时， 专注于困难的样本， 并有效改善在 训练过程中正负样本不平衡的问题。 利用COCO数 据集制作合成拼接篡改数据集， 解决了数据集不 足无法充分训练神经网络的问题。 权利要求书2页 说明书6页 附图2页 CN 114418988 A 2022.04.29 CN 114418988 A 1.一种基于注意力机制的拼接图像篡改检测方法， 其特 征在于， 包括以下步骤： 构建篡改拼接数据集和图像篡改检测模型， 将所述篡改拼接数据集划分为训练集与测 试集， 将所述训练集中的篡改拼接图像输入所述图像篡改检测模型； 对所述篡改拼接图像提取篡改特 征， 获得特征图； 基于带有注意力 机制的特征融合网络对所述特征图进行特征融合处理， 获得最终特征 图， 基于所述 最终特征图获得拼接图像篡改区域定位结果； 基于所述测试集对训练完成的图像篡改检测模型进行测试， 测试完成后获得检测结 果。 2.根据权利要求1所述的方法， 其特 征在于， 构建拼接篡改数据集的过程中包括： S1.随机选取COCO数据集中的一张图片并读取其中的真值目标及真值目标 所在区域； S2.将所述真值目标及 真值目标所在区域截取， 并随机粘贴到其他图片中的随机区域， 得到合成图像； S3.重复S1 ‑S2过程， 直到将所述COCO数据集中的所有图片均转化为所述合成图像， 构 成拼接篡改数据集。 3.根据权利要求1所述的方法， 其特征在于， 构建所述图像篡改检测模型的过程中包 括： 采用改进的YOLOv4模型构建所述图像篡改模型； 所述改进的YOLOv4模型中的损失函数采用了Focal  loss损失函数。 4.根据权利要求1所述的方法， 其特征在于， 对所述篡改拼接图像提取篡改特征的过程 中包括： 基于CSPDarknet53特征提取网络提取出图像中的篡改特征， 输出三个不同大小的特征 图。 5.根据权利要求1所述的方法， 其特征在于， 基于带有注意力 机制的特征融合网络对所 述特征图进行 特征融合处 理， 获得最终特 征图的过程中包括： 通过通道 注意力使用平均池化与最大池化缩小所述特 征图的空间信息； 基于共享全连接层得到通道特 征图； 将所述通道特征图与所述特 征图内积， 获得第一特 征图； 基于空间注意力对所述第一特征图进行处理， 获得目标位置， 基于上述目标位置获得 所述最终特征图。 6.根据权利要求1所述的方法， 其特征在于， 所述方法还包括对测试结果进行评估， 评 估指标选用平均精度AP对测试 结果进行评估。 7.一种基于注意力机制的拼接图像篡改检测系统， 其特 征在于， 包括： 数据集构建模块和图像篡改检测模型； 所述数据集构建模块用于构建拼接篡改数据集， 所述拼接篡改数据集用于训练和测试 所述图像篡改检测模型； 所述图像篡改检测模型用于检测待测图像中是否存在拼接图像篡改情况。 8.根据权利要求7所述的系统， 其特征在于， 所述图像篡改检测模型包括特征提取模块 和特征融合模块； 所述特征提取模块用于对待测图像提取篡改特 征， 获得特征图；权　利　要　求　书 1/2 页 2 CN 114418988 A 2所述特征融合模块用于基于注意力 机制对所述特征图进行特征融合处理， 获得最终特 征图， 所述特 征融合模块包括注意力机制模块； 所述图像篡改检测模型基于所述最终特征图检测待测图像中是否存在拼接图像篡改 情况。 9.根据权利要求8所述的系统， 其特征在于， 所述注意力 机制模块包括通道注意力模块 和空间注意力模块； 所述通道注意力模块用于对所述特 征图进行处 理， 获得通道特 征图； 所述空间注意力模块用于对所述通道特征图和所述特征图的内积进行空间注意力处 理， 获得最终特 征图。 10.根据权利要求9所述的系统， 其特征在于， 所述通道注意力模块包括缩小空间信息 模块和共享全连接模块； 缩小空间信息模块用于对所述特 征图进行平均池化和最大池化， 缩小空间信息； 所述共享全连接模块用于对缩小空间信 息的所述特征图进行处理， 获得所述通道特征 图。权　利　要　求　书 2/2 页 3 CN 114418988 A 3