(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895693.X (22)申请日 2022.07.28 (71)申请人 国家计算机网络与信息安全管理中 心 地址 100031 北京市朝阳区裕民路甲3号 申请人 中国科学院计算 技术研究所 (72)发明人 陈志鹏　曹娟　张旭　张传新　 李锦涛　谢添　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　陈思远 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多元特征融合分割的图片伪造检测方 法及系统 (57)摘要 本发明提出一种基于多元特征融合分割的 图片伪造检测方法和系统， 通过提取图像中伪造 区域的光照 梯度、 噪声分布、 压缩一致性特征后， 对其进行加权融合成一个新的综合特征， 送入到 专用的分割神经网络判断图像是否是伪造的， 并 标记出伪造区域， 同时将多元融合特征与网络分 割结果结合， 给出伪造检测的解释性展示， 在提 高传统方法的准确率和普适性的同时， 弥补了深 度学习方法可解释性较低的不足。 权利要求书3页 说明书9页 附图2页 CN 115393697 A 2022.11.25 CN 115393697 A 1.一种基于多元 特征融合分割的图片伪造检测方法， 其特 征在于， 包括： 步骤1、 获取已标有伪造区域标签的训练图像， 作为当前图像； 步骤2、 根据该当前图像中各区域的压缩水平， 提取压缩误差特征； 提取该当前图像的 噪声分布， 得到噪声特征； 根据该当前图像中光源光路， 提取光照梯度特征； 对该压缩误差 特征、 该噪声 特征和该光照梯度特征， 进 行空间维度和通道维度的加权融合， 得到多 元融合 特征； 步骤3、 将该多元融合特征输入分割模型， 得到分割结果特征图， 并基于该分割结果特 征图和该伪造区域标签构建损失函数， 训练该分割模型， 得到图片伪造检测模型； 步骤4、 将待伪造检测图片作为当前图片， 执行该步骤2， 得到该待伪造检测图片的多元 融合特征， 输入该图片伪造检测模型， 得到该待伪造检测图片的分割结果特征图， 以判定该 待伪造检测图片是否属于伪造图片。 2.如权利要求1所述的基于多元特征融合分割的图片伪 造检测方法， 其特征在于， 还包 括步骤4， 将该待伪造检测图片的该多 元融合特征和该分割结果特征图进 行加权融合， 以进 行解释性结果展示。 3.如权利要求1所述的基于多元特征融合分割的图片伪 造检测方法， 其特征在于， 该步 骤2包括： 压缩误差特征提取步骤， 根据 预设压缩率， 将该当前图像进行压缩得到低质量图像； 根 据该当前图像与该低质量图像各个通道上每个像素点的绝对值差， 得到ELA特征图， 并获得 三个通道上绝对值差的最大值 max_diff； 计算调节ELA图像亮度的scale值， scale＝255.0/ max_diff； 将ELA特征图FELA归一化处理得到压缩误差特征FELA， FELA＝f_normal(FELA+ scale)， 其中f_n ormal为归一化函数； 噪声特征提取步骤， 将该当前图片输入SRM滤波器， 基于多个滤波核对该当前图像进行 滤波， 得到该噪声特征FSRM： FSRM＝f_normal(filter(Isrc， k3， k2， k1))， 其中filter为滤波操 作， Isrc为该当前图像， k3， k2， k1均为滤波 核； 光照梯度特 征提取步骤， 使用sobel核提取图像梯度， sobel核： 利用sobel核分别对该当前图片进行 滤波， 得到x， y方向的梯度dx， dy： dx＝filter(Gx， Isrc) dy＝filter(Gy， Isrc) 分别对每 个通道进行操作再合并， 得到光照梯度特 征FGRAD： FGRAD＝concat(Fblue， Fgreen， Fred) 其中， concat为通道堆叠， Fblue， Fgreen， Fred分别为： Fblue＝f_normal(abs(dx+dy)) 权　利　要　求　书 1/3 页 2 CN 115393697 A 2其中abs为求绝对值， max为取最大值。 4.如权利要求1所述的基于多元特征融合分割的图片伪 造检测方法， 其特征在于， 该步 骤2包括： 空间维度融合步骤， 分别对该压缩误差特征、 该噪声特征和该光照梯度特征求取空间 权重FS： FS＝σ(conv7×7(AVGPool(F))) 其中， AVGPool为平均池化操作， conv7×7为7x7卷积， σ 为sigmoid函数， F为输入特征， FS 为空间注意力特 征图； 将该压缩误差特征、 该噪声特征和该光照梯度特征分别与对应空间权重相乘， 再将对 应通道相加得到空间融合注意力特 征图FSM＝FGRADFS_GRAD+FELA*FS_ELA+FSRM*FS_SRM； 通道维度融合 步骤， 对空间融合注意力特 征图FSM求取通道权 重FCA： FCA＝conv( σ(AVGPool(conv(FSM)))) 得到该多元融合特 征FSCM＝FCA*FSM。 5.一种基于多元 特征融合分割的图片伪造检测系统， 其特 征在于， 包括： 初始模块， 用于获取已标有伪造区域标签的训练图像， 作为当前图像； 融合模块， 用于根据 该当前图像 中各区域的压缩水平， 提取压缩误差特征； 提取该当前 图像的噪声分布， 得到噪声特征； 根据该当前图像中光源光路， 提取光照梯度特征； 对该压 缩误差特征、 该噪声 特征和该光照梯度特征， 进 行空间维度和通道维度的加权融合， 得到多 元融合特 征； 分割模块， 用于将该多元融合特征输入分割模型， 得到分割结果特征图， 并基于该分割 结果特征图和该伪造区域标签构建损失函数， 训练该分割模型， 得到图片伪造检测模型； 检测模型， 用于将待伪 造检测图片作为当前图片， 调用该融合模块， 得到该待伪 造检测 图片的多元融合特征， 输入该图片伪造检测模型， 得到该待伪造检测图片的分割 结果特征 图， 以判定该待伪造检测图片是否属于伪造图片。 6.如权利要求5所述的基于多元特征融合分割的图片伪 造检测系统， 其特征在于， 还包 括展示模块， 用于将该待伪造检测图片的该多 元融合特征和该分割结果特征图进 行加权融 合， 以进行解释性结果展示。 7.如权利要求5所述的基于多元特征融合分割的图片伪 造检测系统， 其特征在于， 该融 合模块包括： 压缩误差特征提取模块， 根据 预设压缩率， 将该当前图像进行压缩得到低质量图像； 根 据该当前图像与该低质量图像各个通道上每个像素点的绝对值差， 得到ELA特征图， 并获得 三个通道上绝对值差的最大值 max_diff； 计算调节ELA图像亮度的scale值， scale＝255.0/ max_diff； 将ELA特征图FELA归一化处理得到压缩误差特征FELA， FELA＝f_normal(FELA+ scale)， 其中f_n ormal为归一化函数； 噪声特征提取模块， 将该当前图片输入SRM滤波器， 基于多个滤波核对该当前图像进行 滤波， 得到该噪声特征FSRM： FSRM＝f_normal(filter(Isrc， k3， k2， k1))， 其中filter为滤波操 作， Isrc为该当前图像， k3， k2， k1均为滤波 核；权　利　要　求　书 2/3 页 3 CN 115393697 A 3