(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210730860.5 (22)申请日 2022.06.24 (71)申请人 山东省人工智能研究院 地址 250000 山东省济南市历下区科院路 19号 申请人 山东大学　 青岛海尔智能技 术研发有限公司 　 泰华智慧产业 集团股份有限公司 (72)发明人 高赞　陈圣灏　李华刚　张蕊　 谭文　马述杰　聂礼强　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 张露露 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01)G06T 7/181(2017.01) G06T 3/00(2006.01) G06T 5/00(2006.01) G06T 7/73(2017.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01) (54)发明名称 基于多尺度特征智能感知的社交网络图像 篡改定位方法 (57)摘要 本发明公开了一种基于多尺度特征智能感 知的社交网络的图像篡改定位方法， 实现了基于 对所有的图像篡改定位数据集的高效篡改定位； 方法的具体步骤如下： 对篡改图像预处理， 提取 边缘Groundtr hth图像， 利用由sobel算子引导提 取边缘特征然后采用多尺度边缘导向的注意力 机制， 在边缘伪影不一致的基础上挖掘篡改 的粗 略定位信息； 构建多尺度上下文感知融合模块， 利用此模块在不同的由边缘监督的尺度上进行 局部和全局的搜寻， 突出篡改和非篡改之间的差 异； 进行篡改信息的融合， 输出的特征图通过样 本不平衡损失来实现篡改区域的定位。 本发明基 于已知数据集可对其他数据集进行高效的篡改 定位， 能够有效地在不同篡改数据集上获得改 善， 并且获得极高的精度。 权利要求书2页 说明书8页 附图2页 CN 115063373 A 2022.09.16 CN 115063373 A 1.一种基于多尺度特征智能感知的社交网络图像篡改定位方法； 其特征在于， 该方法 具体包含以下步骤： 步骤1对篡改图像预处理， 采用Imagenet对图像预训练， 同时在篡改数据集 中采用图像 增强方法增强篡改区域的识别， 将图像以及GroundTruth双线性插值成512 ×512大小的尺寸作为输入， 提取边缘 Groundtrhth图像； 步骤2将resnet50深度神经网络作为特征提取器， 利用由sobel算子引导提取边缘特征 然后采用多尺度边缘导向的注意力机制， 在边缘伪影不一致的基础上挖掘篡改的粗略定位 信息； 步骤3构建多尺度上下文感知融合模块， 利用此模块在不同的由边缘监督的尺度上进 行局部和全局的搜寻， 突出篡改和非篡改之间的差异； 步骤4进行篡改信息的融合， 输出的特征图通过样本不平衡损 失来实现篡改区域的定 位。 2.根据权利要求1所述的基于多尺度特征智能感知的社交网络图像篡改定位方法； 其 特征在于， 所述多尺度边缘导向的注 意力机制包括两个部 分， 边缘提取和边缘融合， 具体步 骤如下： 2‑1)resnet各自不同残差块的特征通过sobel层进行增强后， 得到相关的边缘特征， 并 通过3×3卷积将通道统一为256， 再经过1 ×1卷积和Sigmoid后得到生成的边缘预测图ei, 并与通过GroundTruth生成的mask进行监 督， 其中每一尺度ri特征操作如下： 2‑2)求取最终融合边缘能力的特征； 将有着边缘监督感知的特征拼接后， 通过1 ×1卷 积得到B1， 主体特征分别通过1 ×1卷积得到A1和A2， 使用一个边缘感知注意力的方式来增 强特征主体的边 缘， 聚合边缘方面的上 下文信息， 其中公式如下 所示： 其中F是边界篡改感知的注意力图， B1i表示B1的第i个位置， T表示转置， N表示所有的像 素； 主体特 征上每个位置j都受到边 缘特征位置i的影响,确保更正确的定位篡改的区域； 2‑3)将此注意力图F乘到原来的特征通过另外1 ×1卷积得到的特征A2， 改变形状然后 与主体特 征进行相加， 得到最终融合 边缘能力粗略定位篡改区域的特 征。 3.根据权利要求1所述的基于多尺度特征智能感知的社交网络图像篡改定位方法； 其 特征在于， 所述多尺度上 下文感知融合模块， 包 含上下文感知与融合过程， 具体如下： 3‑1)上下文感知具体由四个多尺度探索分支组合而成， 上下文感知需要在每级特征上 进行操作， 每 个分支都首 先包含了一个3 ×3卷积得到ri′ 3‑2)采取用于局部特征提取 的3个卷积进行卷积， 分别是非对称卷积1 ×ki,ki×1和对 称卷积ki×ki， 再将特征进行相加来增强 非语义信息的提取能力， 表示如下： 权　利　要　求　书 1/2 页 2 CN 115063373 A 2ki表示第i个分支的卷积 核大小， Relu表示非线 性操作， BN表示批次正则化处理， 最终输 出第i层的特 征si； 3‑3)最后通过空洞率ri的3×3卷积进行输出， 将ki的i∈{1,2,3,4}设置为1,3,5,7， 在 空洞率上ri的i属于{1,2,3,4}四个分支设置为{1,2,4,8}， 每个卷积过后经过批处理归一 化层和relu 线性操作， 得到局部和全局的特 征； 3‑4)将每一分支出来的特征与下一分支的相加寻找全局特征， 得到的4个分支特征 {s1， s2， s3， s4}通过拼接得到经 过局部和全局搜寻后的特 征， 表示如下： 3‑5)将多尺度边缘导向特征通过残差学习将并没有注意到的多尺度细节特征进行添 加， 逐步细化特 征输出， 得到最终预测图。 4.根据权利要求3所述的基于多尺度特征智能感知的社交网络图像篡改定位方法； 其 特征在于， 所述 步骤3‑5具体步骤如下： 3‑5‑1)从最深处多尺度边缘导向的粗糙特征开始， 将多尺度中已经预测好的粗篡改区 域删除， 然后引导网络依 次发现不同尺度上补充的目标区域和细节， 进行相加， 第i个补充 分支的反向注意权 重Ai是通过减去i+1分支的上采样预测图获得， 具体表示如下： 3‑5‑2)将反向注意权重和分支上充分搜寻的特征进行相乘的操作， 在浅层特征中将粗 预测图上篡改显著 注意的区域进行移除， 再将上一级分支的特 征加回到粗特 征上； 3‑5‑3)使用残差学习来弥补预测的篡改图和地 面真实之间的误差， 具体来说， 对每一个补充分支进行上采样得到原图大小， 然后进行深度监督来学习残 差特征， 其中深度监 督可表示 为： 式中： G为GroundTruth 。 5.根据权利要求1所述的基于多尺度特征智能感知的社交网络图像篡改定位方法； 其 特征在于， 所述多尺度边缘导向的注意力机制和多尺度上下文感知融合模块， 都通过如下 损失函数约束， 通过最小化损失函数， 从而确定最优的网络参数； 式中： λ1为0 .2， λ2为0 .8， 为预测图， pt是篡改像素预测的概率， e为边缘的 GroundTruth， 为边缘的与预测图。权　利　要　求　书 2/2 页 3 CN 115063373 A 3